通过奇异值边界限制改进深度神经网络训练
计算机视觉与模式识别
2017-03-21 v3
摘要
深度学习方法最近在许多计算机视觉问题上取得巨大成功，图像分类与目标检测是突出例证。尽管有这些实际成功，深度网络优化仍是深度学习研究中的活跃话题。本文聚焦于调查可能导致良好性能的网络解属性。我们的研究受使用正交矩阵初始化网络的理论与实证结果启发，但感兴趣的是考察当网络训练收敛时正交权重矩阵表现如何。为此，我们提出在整个网络训练过程中将权重矩阵的解约束于正交可行集内，并通过一种简单而有效称为奇异值边界限制(SVB)的方法实现。在SVB中，每个权重矩阵的所有奇异值被简单地限制在1值附近的窄带内。基于相同动机，我们还提出有界批量归一化(BBN)，通过消除其层变换病态条件的潜在风险来改进批量归一化。我们给出理论与实证结果以证明所提方法。在基准图像分类数据集上的实验显示了SVB和BBN的功效。特别地，使用现成网络架构(Wide ResNets)我们在CIFAR10上达到3.06%错误率、在CIFAR100上达到16.90%的最先进结果。在ImageNet上的初步结果也显示了大规模学习的希望。
引用
@article{arxiv.1611.06013,
title = {Improving training of deep neural networks via Singular Value Bounding},
author = {Kui Jia},
journal= {arXiv preprint arXiv:1611.06013},
year = {2017}
}