神经网络特征学习的微观与集体特征
无序系统与神经网络
2025-08-29 v1 统计力学
摘要
特征提取——即从数据中识别相关属性的能力——是深度学习成功的关键因素。然而，要阐明其本质在现有预测理论中一直十分困难，甚至连特征学习的定义都没有共识。一个有前景的线索来自之前对神经网络训练动力学中某些准唯一现象的现象学观察，这些现象体现在特征几何的简单属性中。我们在具有标准参数化的单隐藏层神经网络的贝叶斯学习统计力学框架中来处理此问题。在网络宽度和训练集大小都很大的比例极限下进行的解析计算可以定量地捕捉特征学习的指纹，包括与流形几何相关的集体特征，以及与权重相关的微观特征。具体而言，(i) 不同类流形在特征空间中的距离是温度的非单调函数，我们将其解释为在梯度下降 (GD) 动力学下观察到的现象的平衡对应物；(ii) 网络中的微观可学习参数相对于无限宽度极限发生有限的数据依赖位移，并发展出相关性。这些结果表明，在后验预测分布为高斯过程回归且先验被显著重新缩放的区间，存在非平凡的特征学习。
引用
@article{arxiv.2508.20989,
title = {Microscopic and collective signatures of feature learning in neural networks},
author = {Andrea Corti and Rosalba Pacelli and Pietro Rotondo and Marco Gherardi},
journal= {arXiv preprint arXiv:2508.20989},
year = {2025}
}