AutoShuffleNet：在深度卷积神经网络中通过精确 Lipschitz 连续惩罚学习置换矩阵
机器学习
2019-01-28 v1 机器学习
摘要
ShuffleNet 是一种最先进的轻量级卷积神经网络架构。其基本操作包括分组、逐通道卷积和通道混洗。然而，通道混洗是凭经验手动设计的。从数学上讲，混洗是乘以一个置换矩阵。在本文中，我们提出通过在网络训练中学习置换矩阵来实现通道混洗的自动化。我们引入了一种精确的 Lipschitz 连续非凸惩罚，使其可以纳入随机梯度下降中以高精度逼近置换。在训练结束时通过简单取整获得精确置换，并用于推理。所得网络称为 AutoShuffleNet，在 CIFAR-10 和 ImageNet 数据集上取得了更高的分类精度。此外，我们通过实验发现，将置换矩阵标准凸松弛为随机矩阵会导致性能不佳。我们从理论上证明了当我们的惩罚函数为零（非常小）时恢复置换矩阵的确切性（误差界）。我们给出了通过图匹配和两层神经网络模型进行置换优化的例子，其中损失函数以封闭解析形式计算。在这些例子中，凸松弛未能捕捉置换，而我们的惩罚成功了。
引用
@article{arxiv.1901.08624,
title = {AutoShuffleNet: Learning Permutation Matrices via an Exact Lipschitz Continuous Penalty in Deep Convolutional Neural Networks},
author = {Jiancheng Lyu and Shuai Zhang and Yingyong Qi and Jack Xin},
journal= {arXiv preprint arXiv:1901.08624},
year = {2019}
}