深度学习中凝聚现象概述
机器学习
2026-04-14 v2
摘要
本文概述了深度神经网络非线性训练中观察到的一种常见现象，即凝聚。具体而言，在非线性训练过程中，同一层中的神经元倾向于凝聚到具有相似输出的组中。经验观察表明，同一层中凝聚簇的数量通常随训练进程单调递增。具有较小权重初始化或Dropout优化的神经网络可促进此凝聚过程。我们还从训练动力学和损失景观结构两个角度考察了凝聚现象的内在机制。凝聚现象为神经网络的泛化能力提供了有价值的洞见，并与基于Transformer的语言模型具有更强的推理能力相关联。
引用
@article{arxiv.2504.09484,
title = {An overview of condensation phenomenon in deep learning},
author = {Zhi-Qin John Xu and Yaoyu Zhang and Zhangchen Zhou},
journal= {arXiv preprint arXiv:2504.09484},
year = {2026}
}