用于卷积神经网络优化的通道导向梯度
机器学习
2020-08-26 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
我们引入了卷积神经网络的优化方法，可用于在泛化误差方面改进现有的基于梯度的优化。该方法仅需对现有随机梯度进行简单处理，可与任意优化器结合使用，并且相较于随机梯度的计算仅具有（参数量上的）线性额外开销。该方法通过相对于输出通道导向的重新加权 L2 或 Sobolev 度量的损失函数梯度来实现，其效果是在参数张量的某一方向上对梯度的分量进行平滑。我们表明，沿输出通道方向定义梯度会带来性能提升，而其他方向则可能有害。我们给出了此类梯度的连续统理论、其离散化及其在深度网络中的应用。在基准数据集、若干网络与基线优化器上的实验表明，优化器只需计算相对于输出通道导向度量的随机梯度，即可在泛化误差上得到改进。
引用
@article{arxiv.2008.10766,
title = {Channel-Directed Gradients for Optimization of Convolutional Neural Networks},
author = {Dong Lao and Peihao Zhu and Peter Wonka and Ganesh Sundaramoorthi},
journal= {arXiv preprint arXiv:2008.10766},
year = {2020}
}