单头注意力中的良性过拟合
机器学习
2025-02-13 v2 机器学习
摘要
良性过拟合现象——训练好的神经网络在完美拟合带噪声训练数据但仍保持接近最优测试性能——近年来在线性模型和全连接/卷积网络中受到广泛关注。本文研究了单头softmax注意力模型中的良性过拟合问题，这是Transformer模型的基本构建模块。我们在分类设置下，证明在恰当条件下，该模型在进行两次梯度下降后即表现出良性过拟合。此外，我们展示了最小范数/最大间隔插值器 exhibits 良性过拟合的条件。我们研究了过拟合行为如何依赖于数据分布的信噪比（SNR），即信号token与噪声token范数之比，并证明足够大的SNR是良性过拟合的必要且充分条件。
引用
@article{arxiv.2410.07746,
title = {Benign Overfitting in Single-Head Attention},
author = {Roey Magen and Shuning Shang and Zhiwei Xu and Spencer Frei and Wei Hu and Gal Vardi},
journal= {arXiv preprint arXiv:2410.07746},
year = {2025}
}