MEP：多核学习增强相对位置编码长度外推

当预测序列长度超过训练时看到的长度时，Transformer的推理精度会下降。现有的相对位置编码方法，例如基于ALiBi技术的方法，仅通过实现单个核函数来解决长度外推挑战，该函数根据距离对每个softmax后的注意力分数施加一个常数偏置。这些方法没有研究或使用多个核函数来解决外推挑战。借鉴ALiBi方法，本研究提出了一种新的相对位置编码方法，称为MEP，它采用加权平均来组合不同的核函数（如指数核和高斯核）以生成一个偏置，应用于softmax后的注意力分数。首先，该框架利用各种核函数构建多个核函数。每个核函数遵循一致的均值权重系数，利用不同核的协同优势来制定一个创新的偏置函数。随后，为每个核函数定制特定的斜率，以不同的速率施加惩罚，以增强模型的外推能力。最后，该偏置作为惩罚无缝地融入softmax后的分数中。我们提出了两种不同的版本：一种是无参数变体，不需要新的可学习参数，在不影响训练效率的情况下增强了长度外推能力；另一种是参数化变体，能够集成最先进的技术。跨多个数据集的实证评估表明，我们方法的两种变体都实现了最先进的性能，优于传统的无参数和参数化方法。