融合至关重要：Transformer中位置编码融合的长度感知分析

Transformer 需要位置编码来表示序列顺序，然而大多数先前的工作侧重于设计新的位置编码，而非研究位置信息如何与词元嵌入融合。在本文中，我们研究融合机制本身是否影响性能，特别是在长序列设置中。我们进行了一项受控的实证研究，在相同的 Transformer 架构、数据划分和随机种子下，比较了三种典型的融合策略——逐元素加法、带投影的拼接以及标量门控融合。在涵盖短（AG News）、中（IMDB）和长（ArXiv）序列的三个文本分类数据集上的实验表明，融合选择对短文本的影响可以忽略不计，但在长文档上产生了一致的增益。为了验证这些增益是结构性的而非随机的，我们进行了配对种子分析和跨序列长度范围的跨数据集比较。在 ArXiv 数据集上的额外实验表明，可学习融合的益处可泛化到多个位置编码家族。最后，我们探索了一种轻量级卷积门控机制，该机制在融合层面引入局部归纳偏置，仅在长文档上进行评估。我们的结果表明，对于长序列 Transformer，位置编码融合是一个非平凡的设计选择，应被视为一个明确的建模决策，而非固定的默认设置。