基于类别激活解构深层双下降现象的奥秘
机器学习
2024-05-14 v1
摘要
双下降在机器学习领域呈现出一种反直觉的方面，研究者已在 various 模型和任务中观察到其表现。虽然针对特定情境提出了一些理论解释，但对于深层学习中发生机制尚无被接受的理论。本研究重访双下降现象，探讨其发生的条件。本文引入类别激活矩阵概念，并提出一种用于估计函数有效复杂度的方法，揭示了过参数化模型在隐藏激活中比不参数化模型更具显著且更简单的类别模式。我们进一步考察了对噪声标签数据的插值与干净表示之间的关系，展示了对表达容量的过拟合。通过全面分析假设并呈现相应的实证证据，既支持又挑战这些假设，以提供对双下降现象及良性过参数化的新视角，促进未来探索。通过全面研究不同假设及其对应的实证证据，要实现对双下降和良性过参数化现象的新见解，从而推动该领域的进一步探索。源代码可在 https://github.com/Yufei-Gu-451/sparse-generalization.git 获取。
引用
@article{arxiv.2405.07679,
title = {Class-wise Activation Unravelling the Engima of Deep Double Descent},
author = {Yufei Gu},
journal= {arXiv preprint arXiv:2405.07679},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2310.13572