恶性尾巴：过参数化网络中标签噪声的谱分离
机器学习
2026-04-07 v2 人工智能
摘要
虽然隐式正则化在低噪声 regime 中促进良性过拟合，但最近的理论工作预测在噪声-信号比率增加时将出现向有害过拟合的尖锐相变。我们通过实验隔离了这一相变的几何机制：恶性尾巴，这是一种网络功能性将信号与噪声分离的失效模式，使有组织的语义特征退化为低秩子空间，同时将随机标签噪声推向高频正交分量，这与系统性或与损坏相关的噪声不同。通过对训练动力学的谱线性探针，我们展示随机梯度下降 (SGD) 未能抑制这种噪声，反而在其上倾向于高频正交子空间，实际上保留了信号-噪声分离。我们表明，这种几何分离不同于未训练模型中的简单方差缩减。在训练后的网络中，SGD 主动分离噪声，允许通过后验显式谱截断 (d << D) 对噪声占主导的子空间进行手术式切割。这种方法恢复了收敛模型中最优的泛化能力。与不稳定的早期停止相比，几何截断提供了一种稳定的后处理干预。我们的发现表明，在标签噪声下，过量的谱容量并非无害的冗余，而是一种潜在的结构负担，允许噪声记忆， necessitating 明确的秩约束来过滤随机腐化，以实现稳健的泛化。
引用
@article{arxiv.2603.02293,
title = {The Malignant Tail: Spectral Segregation of Label Noise in Over-Parameterized Networks},
author = {Zice Wang},
journal= {arXiv preprint arXiv:2603.02293},
year = {2026}
}
备注
We have identified critical errors in citation accuracy and theoretical grounding that undermine the validity of the analysis and conclusions. To maintain academic integrity, we withdraw the paper to perform a full, thorough revision