噪声数据中 epoch 级双下降的深度探索：信号分离、大激活与良性过拟合
机器学习
2026-01-14 v1 计算机视觉与模式识别
机器学习
摘要
深度双下降是深层学习模型泛化能力的关键现象之一。本研究聚焦于 epoch 级双下降，即在过拟合后出现的延迟泛化，通过关注内部结构的演化进行经验性探讨。在 CIFAR-10 数据集上对三个不同规模的全连接神经网络进行训练，噪声标签比例为 30%。通过将损失曲线分解为来自干净训练数据与噪声训练数据的信号贡献，分别分析了内部信号的 epoch 级演化。从该分析中获得了三个主要发现：首先，在双下降阶段即使在完全拟合噪声训练数据后，模型仍能在测试数据上实现强大的再泛化，对应“良性过拟合”状态。其次，噪声数据在干净数据之后被学习，随着学习进展，其内部激活在外层变得日益分离，这使得模型能够仅过拟合噪声数据。第三ly，在所有模型中，浅层出现单个极大激活；该现象在最近的大型语言模型中被称为“离群值”、“大规模激活”或“超激活”，并随着再泛化而演化。大激活的幅度与输入模式相关，但与输出模式无关。这些经验发现直接将“深度双下降”、“良性过拟合”与“大激活”等近期关键现象联系起来，支持了一种新的理解深层双下降的方案。
引用
@article{arxiv.2601.08316,
title = {Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting},
author = {Tomoki Kubo and Ryuken Uda and Yusuke Iida},
journal= {arXiv preprint arXiv:2601.08316},
year = {2026}
}
备注
17 pages, 9 figures