相对平坦性与泛化
机器学习
2021-11-05 v4 机器学习
摘要
损失曲线的平坦性被推测与机器学习模型（特别是神经网络）的泛化能力相关。尽管经验观察表明平坦性度量与泛化始终强相关，但平坦性为何以及在何种情形下与泛化相关，仍是一个开放的理论问题，尤其在重新参数化改变某些平坦性度量却不影响泛化的情况下。我们通过将平坦性与泛化关联到来自代表性数据的插值，推导出代表性以及特征鲁棒性的概念，来研究二者联系。这些概念使我们能够严格地连接平坦性与泛化，并识别该联系成立的条件。此外，它们引出了一种新颖而自然的相对平坦性度量，该度量与泛化强相关，在普通最小二乘下退化为岭回归，并解决了重新参数化问题。
引用
@article{arxiv.2001.00939,
title = {Relative Flatness and Generalization},
author = {Henning Petzka and Michael Kamp and Linara Adilova and Cristian Sminchisescu and Mario Boley},
journal= {arXiv preprint arXiv:2001.00939},
year = {2021}
}
备注
The first two authors made equal contribution; Accepted for publication at NeurIPS 2021; arXiv admin note: substantial text overlap with arXiv:1912.00058