Give it Space! 位置和语义表示在编码器中的显式解耦
计算与语言
2026-05-29 v1 人工智能
摘要
位置编码（PE）支撑着Permutation不变的Transformer如何表示序列顺序，但位置信息如何被处理和存储仍不为人所理解。现代PE方法如RoPE在诸如长上下文理解或检索等任务上仍存在困难\cite{chen-etal-2025-hope}。因此，更深入理解内部位置机制有助于设计更好的PE。基于位置和语义信号在训练的Transformer中几乎正交的证据，我们修改了编码器Transformer以处理三个显式解耦的流：语义、绝对位置（AP）和相对位置（RP），并将masked-language-modeling（MLM）目标局限于语义流。这种解耦使我们能够进行干净的机制研究，并得出三个结论。（1）孤立的AP子空间会自发地坍缩为低频二维流形，捕获文档结构；（2）注意力头专门分为结构和语义导向组，RP专门支持后者；（3）标准位置编码不稳健地保留宏观结构：RoPE和RP仅弱ly编码它，entangled AP在MLM压力下在最终层丢失它。解耦方法保留了位置编码，从而在49个65个语言现象中的Flash-Holmes探针基准测试中改进了语言表示。
关键词
引用
@article{arxiv.2605.30022,
title = {Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders},
author = {Pierre-Antoine Lequeu and Camille Barboule and Benjamin Piwowarski},
journal= {arXiv preprint arXiv:2605.30022},
year = {2026}
}
备注
8 page + 10 pages of bibliography and appendix