层旋转：深度网络泛化能力一个出奇强大的指示指标？
机器学习
2019-07-02 v2 计算机视觉与模式识别
机器学习
摘要
我们的工作给出了大量经验证据，表明层旋转（即各层权重向量与其初始化之间余弦距离随训练过程的演化）构成了极为一致的泛化性能指示指标。特别地，每层最终权重与初始权重之间更大的余弦距离始终对应于最终模型更好的泛化性能。有趣的是，该关系存在一个与网络无关的最优值：所有层权重与其初始化达到余弦距离为1的训练过程始终优于其他配置——测试准确率最高可高出30%。此外，我们表明层旋转易于监测与控制（有助于超参数调优），并可能提供一个统一框架来解释学习率调优、权重衰减、学习率预热以及自适应梯度方法对泛化与训练速度的影响。为解释层旋转这一令人惊讶的性质，我们在训练于MNIST上的单隐层MLP上表明，层旋转与中间层特征被训练的程度相关。
引用
@article{arxiv.1806.01603,
title = {Layer rotation: a surprisingly powerful indicator of generalization in deep networks?},
author = {Simon Carbonnelle and Christophe De Vleeschouwer},
journal= {arXiv preprint arXiv:1806.01603},
year = {2019}
}
备注
Extended version of paper presented at ICML workshop "Identifying and Understanding Deep Learning Phenomena"