探索深度神经网络中的权重对称性
机器学习
2019-01-11 v2 机器学习
摘要
我们提出在神经网络参数中施加对称性，以改进参数利用并充分利用专用的卷积与矩阵乘法例程。由于对称性约束显著减少了参数数量，人们预期准确率会大幅下降。令人惊讶的是，我们发现情况并非如此，并且取决于网络规模，对称性对网络准确率影响甚微甚至毫无负面影响，尤其在深度过参数化网络中。我们提出了几种在循环神经网络和卷积神经网络中施加局部对称性的方法，并证明我们的对称性参数化满足单隐藏层网络的通用逼近性质。我们在 CIFAR、ImageNet 和语言建模数据集上对这些参数化进行了广泛评估，展示了使用对称性带来的显著收益。例如，我们具有通道对称性的 ResNet-101 参数减少近 25%，在 ImageNet 上准确率仅损失 0.2%。我们的实验代码可在 https://github.com/hushell/deep-symmetry 获取。
引用
@article{arxiv.1812.11027,
title = {Exploring Weight Symmetry in Deep Neural Networks},
author = {Xu Shell Hu and Sergey Zagoruyko and Nikos Komodakis},
journal= {arXiv preprint arXiv:1812.11027},
year = {2019}
}