论损失景观的曲率
机器学习
2023-07-11 v1
摘要
现代深度学习的主要挑战之一是理解为何此类过参数化模型在有限数据上训练时表现如此良好。分析该泛化概念的一种途径是通过相关损失景观的性质。本文中，我们将损失景观视为嵌入黎曼流形，并表明该流形的微分几何性质可用于分析深度网络的泛化能力。我们尤其关注标量曲率——其可针对我们的流形解析计算——并展示其与若干潜在暗示泛化的设定之间的联系。
引用
@article{arxiv.2307.04719,
title = {On the curvature of the loss landscape},
author = {Alison Pouplin and Hrittik Roy and Sidak Pal Singh and Georgios Arvanitidis},
journal= {arXiv preprint arXiv:2307.04719},
year = {2023}
}
备注
12 pages, 5 figures, preliminary work