Transformer中的词汇表内学习：位置编码的优势
机器学习
2025-11-11 v1
摘要
众多研究表明，Transformer架构具备内在学习(ICL)能力。在函数逼近场景中，上下文可作为模型的控制参数，赋予其通用逼近属性(UAP)。在实际应用中，上下文由来自有限集合的记号表示，即本文所考察的情况，称为词汇表内学习(VICL)。我们证明，单层Transformer在无位置编码时不具备UAP；然而，引入位置编码后可实现UAP。本文提供了若干位置编码的充分条件。我们的发现从逼近理论视角揭示了位置编码在ICL中的优势。
引用
@article{arxiv.2511.06376,
title = {Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding},
author = {Qian Ma and Ruoxiang Xu and Yongqiang Cai},
journal= {arXiv preprint arXiv:2511.06376},
year = {2025}
}
备注
Accepted as NIPS 2025 poster