许多深度网络的训练过程探索同一低维流形
机器学习
2024-05-21 v3 无序系统与神经网络
摘要
我们发展了信息几何技术来分析深度网络在训练过程中预测的轨迹。通过考察底层的高维概率模型，我们揭示了训练过程探索了一个有效低维流形。具有广泛架构、规模、使用不同优化方法、正则化技术、数据增强技术和权重初始化的网络在预测空间中位于同一流形上。我们研究该流形的细节，发现不同架构的网络遵循可区分的轨迹，但其他因素影响极小；较大的网络沿着与较小网络相似的流形训练，只是更快；并且在预测空间非常不同部分初始化的网络沿着相似流形收敛到解。
引用
@article{arxiv.2305.01604,
title = {The Training Process of Many Deep Networks Explores the Same Low-Dimensional Manifold},
author = {Jialin Mao and Itay Griniasty and Han Kheng Teoh and Rahul Ramesh and Rubing Yang and Mark K. Transtrum and James P. Sethna and Pratik Chaudhari},
journal= {arXiv preprint arXiv:2305.01604},
year = {2024}
}