JoFormer（基于旅程的 Transformer）：理论与在 Tiny Shakespeare 数据集上的实证分析

Transformer 在序列建模方面展现出显著的成功，但有效地融合位置信息仍是一个具有挑战性且活跃的研究方向。本文介绍 JoFormer，这是一种基于最近提出的非交换代数构建的 Transformer 架构，用于在位置之间组合变换。JoFormer 通过可学习的方向变换表示相对位置，这些变换沿输入依次组合，从而扩展并概括了基于相对位置表示的现有方法。我们从原理出发推导了 JoFormer 注意力机制，并表明它包含了诸如旋转变换等标准方法的特例。为评估其有效性，我们将 JoFormer 与 RoFormer 在 Tiny Shakespeare 字符级语言建模任务上进行比较。我们的结果表明，JoFormer 在一致获得更低的困惑度和更快的收敛速度方面具有优势，凸显了其更具表达力的、基于旅程的位置处理方式的优势。值得注意的是，单 token JoFormer 仍是一种原始的、概念性变体，仅具有层独立角度，却已显示出强大的性能——这凸显了其作为更具表达力架构概念验证的前景。我们通过讨论 JoFormer 提供了一种原则方法，用于将位置结构集成到 Transformer 架构中。本工作使用的代码可在 https://github.com/mahesh-godavarti/joformer 查看。