基于层次特征学习的神经低次滤波：深度学习的谱理论
机器学习
2026-05-14 v1 无序系统与神经网络
机器学习
摘要
理解深度神经网络如何从数据中学习有用内部表征是深度学习理论中的一个核心开放问题。我们引入神经低次滤波 (Neural LoFi)，这是一种渐进梯度训练的理想化极限，其中层次特征学习变为显式的迭代谱过程。在此极限下，各层的动力学相互解耦：给定当前表征，下一层选择具有最大可访问低次相关性的标签方向。这产生一种可处理的深度学习替代机制，伴随一种自然的核空间解释。神经 LoFi 提供了超越懒惰范畴的多层特征学习的数学明确框架。它预测了如何逐层选择表征，解释了概念如何在给定样本复杂度下出现，以及深度如何通过低次组合性逐步构造新特征从旧特征中提取。我们通过在全连接和卷积网络上的机械实验补充理论，表明神经 LoFi 在懒惰随机特征基准上有所改进，恢复了有意义的结构滤波器，并预测了与真实数据集上早期梯度下降特征发现相匹配的表征。
引用
@article{arxiv.2605.13612,
title = {Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning},
author = {Yatin Dandi and Matteo Vilucchio and Luca Arnaboldi and Hugo Tabanelli and Florent Krzakala},
journal= {arXiv preprint arXiv:2605.13612},
year = {2026}
}
备注
62 pages, many figures, companion codes in https://github.com/IdePHICS/Neural-LoFi-Theory