神经网络损失景观中的路径与邻域空间
机器学习
2025-03-06 v1 机器学习
摘要
理解神经网络损失面的结构，特别是低损失隧道的涌现，对于推进神经网络理论与实践至关重要。在本文中，我们提出了一种将损失隧道直接嵌入神经网络损失景观的新方法。探索这些损失隧道的性质可以为其长度和结构提供新的见解，并揭示一些常见误解。随后，我们将该方法应用于贝叶斯神经网络，通过识别陷阱并提出更能引导采样过程的自然先验来改进子空间推断。
引用
@article{arxiv.2503.03382,
title = {Paths and Ambient Spaces in Neural Loss Landscapes},
author = {Daniel Dold and Julius Kobialka and Nicolai Palm and Emanuel Sommer and David Rügamer and Oliver Dürr},
journal= {arXiv preprint arXiv:2503.03382},
year = {2025}
}
备注
9 pages, Accepted at AISTATS 2025