通过迭代矩阵平方根归一化加速全局协方差池化网络的训练
计算机视觉与模式识别
2018-04-03 v2
摘要
卷积神经网络中的全局协方差池化相比经典一阶池化取得了令人印象深刻的提升。近期工作表明矩阵平方根归一化在取得最先进性能中起着核心作用。然而，现有方法严重依赖特征分解（EIG）或奇异值分解（SVD），由于GPU对EIG和SVD支持有限，训练效率低下。为解决这个问题，我们提出一种迭代矩阵平方根归一化方法，用于全局协方差池化网络的快速端到端训练。我们方法的核心是一个设计为带循环嵌入有向图结构的元层。该元层由三个连续的非线性结构层组成，分别执行预归一化、耦合矩阵迭代和后补偿。我们的方法比基于EIG或SVD的方法快得多，因为它仅涉及矩阵乘法，适合在GPU上并行实现。此外，所提带有ResNet架构的网络能在少得多轮数内收敛，进一步加速网络训练。在大规模ImageNet上，我们取得了优于现有对手的竞争性性能。通过在ImageNet上预训练模型微调，我们在三个具有挑战性的细粒度基准上确立了最先进结果。源代码和网络模型将发布于http://www.peihuali.org/iSQRT-COV
引用
@article{arxiv.1712.01034,
title = {Towards Faster Training of Global Covariance Pooling Networks by Iterative Matrix Square Root Normalization},
author = {Peihua Li and Jiangtao Xie and Qilong Wang and Zilin Gao},
journal= {arXiv preprint arXiv:1712.01034},
year = {2018}
}
备注
Accepted to CVPR 2018