注意力引力场：位置相关性的幂律解释
计算与语言
2026-03-06 v1 人工智能
摘要
本文探讨了大型语言模型（LLM）中位置关系和编码的底层原理，提出了注意力引力场（Attention Gravitational Field, AGF）的概念。通过将位置编码从语义嵌入中解耦，我们优化了模型架构，相较于现主流的编码方法实现了更高的准确率。进一步，我们对AGF进行深入分析，表明其在学习和稳定性曲线上具有内在一致性，以及在经验上与万有引力定律相吻合。通过对这些现象进行严格的理论探索，本工作标志着对注意力机制进行解释的重要一步，并为未来在模型优化和可解释性方面的研究开辟了新的可能性。
引用
@article{arxiv.2603.04805,
title = {Attention's Gravitational Field:A Power-Law Interpretation of Positional Correlation},
author = {Edward Zhang},
journal= {arXiv preprint arXiv:2603.04805},
year = {2026}
}