表示差距：从几何视角解释神经网络的不可思议效力
机器学习
2026-05-22 v1 机器学习
摘要
精确表征神经网络的渐近泛化误差的关键问题是机器学习中至关重要的课题，这依赖大量经验法则和实践者的直觉进行关键设计选择。为缓解此问题，我们提出了表示差距(Representation Gap)这一指标，与泛化误差密切相关，但其渐近动力学行为更良好。聚焦于等参扩散模型，借助最优量化和点过程理论的结果，我们推导了表示差距的精确渐近等价，并指出其由单一参数——任务的内在维度(intrinsic dimension)所支配，该参数易于解释、高效估计，可与常见神经网络架构的等参性联系起来。我们进一步表明，这种渐近动力学也适用于更广泛的任务和训练算法。最后，我们在广泛的合成数据集上实证验证了渐近规律和内在维度估计的准确性；在更真实的数据集上，我们获得的结果与相关文献一致。
引用
@article{arxiv.2605.21692,
title = {Representation Gap: Explaining the Unreasonable Effectiveness of Neural Networks from a Geometric Perspective},
author = {David Perera and Victor Moura and Lais Isabelle Alves dos Santos and Michel F. C. Haddad and Flavio Figueiredo},
journal= {arXiv preprint arXiv:2605.21692},
year = {2026}
}