CNN中卷积核子流形上的优化
计算机视觉与模式识别
2016-10-25 v1
摘要
核归一化方法已被用于提高优化方法对卷积核重参数化、协变量偏移的鲁棒性，并加速卷积神经网络（CNN）的训练。然而，我们对这些方法理论性质的理解落后于它们在应用中的成功。我们开发了一个几何框架来阐明多种核归一化方法的底层机制。该框架使我们能够阐述和识别归一化核空间的几何结构。我们分析并描绘了最先进的核归一化方法如何影响CNN中随机梯度下降（SGD）算法搜索空间的几何性质。遵循我们的理论结果，我们提出了一种SGD算法，确保该方法几乎必然收敛到CNN分类损失单一极小值处的解。实验结果表明，所提出的方法在CNN的主要图像分类基准测试上达到了最先进的性能。
引用
@article{arxiv.1610.07008,
title = {Optimization on Submanifolds of Convolution Kernels in CNNs},
author = {Mete Ozay and Takayuki Okatani},
journal= {arXiv preprint arXiv:1610.07008},
year = {2016}
}
备注
9 pages, 3 figures