作为损失函数拓扑摘要的条形码
机器学习
2025-01-14 v3 代数拓扑
动力系统
最优化与控制
机器学习
摘要
我们提议用拓扑数据分析的方法研究神经网络的损失曲面。我们建议应用 Morse 复形的条形码来探索损失曲面的拓扑。描述了一种计算损失函数局部极小条形码的算法。我们已开展实验，计算基准函数以及小型神经网络损失曲面的局部极小条形码。我们的实验证实了关于神经网络损失曲面的两点主要观察。第一，局部极小的条形码位于神经网络损失函数值域的一个较小下端部分。第二，神经网络深度与宽度的增加会降低局部极小的条形码。这对神经网络的学习及其泛化性质有一些自然的启示。
引用
@article{arxiv.1912.00043,
title = {Barcodes as Summary of Loss Function Topology},
author = {Serguei Barannikov and Alexander Korotin and Dmitry Oganesyan and Daniil Emtsev and Evgeny Burnaev},
journal= {arXiv preprint arXiv:1912.00043},
year = {2025}
}