偏移-曲率、SGD 与泛化
机器学习
2022-07-29 v3 机器学习
摘要
围绕低曲率极小值泛化更好以及 SGD 抑制曲率这两个相关假设，长期存在争论。我们提供支持这两者的更完整且细致的视角。首先，我们展示了曲率通过两种新机制——偏移-曲率与偏置-曲率，加之已知的参数-协方差机制，损害测试性能。这三种曲率介导的对测试性能的贡献是重参数化不变的，尽管曲率本身并非如此。偏移-曲率中的偏移是连接训练与测试局部极小值的直线，二者因数据集采样或分布偏移而不同。尽管该偏移在训练时未知，仍可通过最小化总体曲率来缓解偏移-曲率。其次，我们推导了一个新的显式 SGD 稳态分布，表明 SGD 优化一个与训练损失相关但不同的有效势，且 SGD 噪声介导了该有效势中深层区域与低曲率区域间的权衡。第三，将我们的测试性能分析与 SGD 稳态结合表明，对于小 SGD 噪声，偏移-曲率可能是三种机制中最显著的。我们的实验证实了偏移-曲率对测试损失的影响，并进一步探索了 SGD 噪声与曲率间的关系。
引用
@article{arxiv.2108.09507,
title = {Shift-Curvature, SGD, and Generalization},
author = {Arwen V. Bradley and Carlos Alberto Gomez-Uribe and Manish Reddy Vuyyuru},
journal= {arXiv preprint arXiv:2108.09507},
year = {2022}
}