注意力风格模型中学习成对交互的极小极大率
机器学习
2026-02-26 v2 机器学习
概率论
统计理论
统计理论
摘要
我们研究单层注意力风格模型中学习成对交互的收敛速率,其中标记(token)通过权重矩阵与非线性激活函数发生交互。我们证明极小极大率为,其中为样本量,为激活函数的Hölder光滑度。重要的是,在条件下,该速率独立于嵌入维度、标记数量以及权重矩阵的秩。这些结果揭示了注意力风格模型的一种基本统计效率,即使在权重矩阵与激活函数不可单独辨识的情况下也是如此,并为注意力机制提供了理论理解以及对训练的指导。
引用
@article{arxiv.2510.11789,
title = {Minimax Rates for Learning Pairwise Interactions in Attention-Style Models},
author = {Shai Zucker and Xiong Wang and Fei Lu and Inbar Seroussi},
journal= {arXiv preprint arXiv:2510.11789},
year = {2026}
}