收敛特性定理：关于神经网络如何学习表征的首要原理方法
机器学习
2025-09-08 v2 人工智能
机器学习
摘要
深入了解神经网络如何学习表征是深度学习中的核心挑战。主流方法之一是神经特征猜想（Neural Feature Ansatz, NFA）（Radhakrishnan 等 2024），这是一种关于特征学习发生方式的推测。尽管 NFA 已得到经验验证，但它是一种 educated guess，缺乏理论依据，因此难以确定其何时会失败，以及如何改进它。本文采用首要原理方法来理解这一观察为何成立以及何时不成立。我们利用一阶最优条件推导出收敛特性定理（Features at Convergence Theorem, FACT），这是一种对 NFA 的替代方案，其 (a) 与收敛时学习的特征取得更好的一致性，(b) 解释了为何在大多数情况下 NFA 成立，以及 (c) 捕捉了神经网络中某些关键特征学习现象，如模块算术中的 grokking 行为和稀疏奇偶校验学习中的相位转变，类似于 NFA。因此，我们的结果将神经网络的首要一阶最优分析与经验驱动的 NFA 文献相结合，提供了一个在收敛时可证明且经验上成立的原则方法。
引用
@article{arxiv.2507.05644,
title = {The Features at Convergence Theorem: a first-principles alternative to the Neural Feature Ansatz for how networks learn representations},
author = {Enric Boix-Adsera and Neil Mallinar and James B. Simon and Mikhail Belkin},
journal= {arXiv preprint arXiv:2507.05644},
year = {2025}
}