你需要更好的注意力先验
机器学习
2026-01-23 v1 计算与语言
机器学习
摘要
我们通过熵最优传输的视角推广了注意力机制，揭示了标准注意力对应于由隐式均匀先验正则化的传输问题。我们引入了具有可训练先验的广义最优传输注意力（GOAT），这是一种新的注意力机制，它用可学习的连续先验取代了这种朴素假设。该先验与 FlashAttention 等优化内核保持完全兼容。GOAT 还提供了对注意力汇的基于 EOT 的解释，并为其提供了具体解决方案，避免了标准注意力的表征权衡。最后，通过将空间信息吸收到核心注意力计算中，GOAT 学习了一种可外推的先验，它结合了学习位置嵌入的灵活性与固定编码的长度泛化能力。
引用
@article{arxiv.2601.15380,
title = {You Need Better Attention Priors},
author = {Elon Litman and Gabe Guo},
journal= {arXiv preprint arXiv:2601.15380},
year = {2026}
}