用于机器翻译与表示学习的幂律图 Transformer

我们提出了幂律图 Transformer（Power Law Graph Transformer），一种具有明确定义的演绎与归纳任务用于预测和表示学习的 transformer 模型。演绎任务以可学习的幂律分布参数学习数据集级别（全局）和实例级别（局部）图结构。归纳任务使用演绎任务的输出给出预测概率，类似于转导模型。我们使用来自 TED 演讲转录的土耳其语-英语和葡萄牙语-英语数据集训练我们的模型以进行机器翻译，并将模型性能与特性与在相同实验设置下训练的带缩放点积注意力的 transformer 模型进行比较。我们的模型在土耳其语-英语和葡萄牙语-英语翻译任务上分别报告了 $17.79$ 和 $28.33$ 的 BLEU 分数。我们还展示了量化集与 N 维流形表示之间的对偶性如何被利用，通过端到端连续应用线性和非线性变换在局部与全局演绎-归纳输出之间进行转换。