位置描述对Transformer算术能力至关重要

Transformer作为现代自然语言处理成功的核心，尽管能力广泛——矛盾地包含了卓越的编程能力——却常在算术任务上失误。我们观察到，一个关键挑战是它们朴素地依赖位置信息来解决少量位数算术问题，导致在更大数字上表现不佳。在此，我们深入探究位置编码的作用，并提出若干修复该问题的方法，或直接修改位置编码，或改造算术任务的表示以不同方式利用标准位置编码。我们针对三项任务考察这些修改的价值：（i）经典乘法，（ii）加法中的长度外推，以及（iii）自然语言语境中的加法。对于（i），我们在一个小数据集上训练了一个小模型（1亿参数、30万样本），其在（直接、无草稿）15位乘法上表现优异，12位以内基本完美，而通常训练在此设定下会得到4位乘法即失败的模型。在加法实验中，我们仅用12万样本证明：对于（ii）从10位外推至12位测试，而通常训练毫无外推能力；对于（iii）5位以内近乎完美准确，而通常训练仅3位以内正确（在12万样本训练集下本质上是记忆）。