抽象器与关系交叉注意力：Transformer 中显式关系推理的归纳偏置

本文提出对 Transformer 的一种扩展，通过一种称为抽象器（Abstractor）的新颖模块实现显式关系推理。抽象器的核心是一种称为关系交叉注意力的注意力变体。该方法受一种用于关系学习的架构归纳偏置的启发，该偏置将关系信息从对象级特征中解耦。这使得显式关系推理成为可能，支持从有限数据中进行抽象与泛化。抽象器首先在简单的关系判别任务上评估，并与现有关系架构进行比较。接下来，抽象器在纯关系序列到序列任务上评估，与标准 Transformer 相比，其样本效率有显著提升。最后，抽象器在一组基于数学问题求解的任务上评估，观察到性能与样本效率的一致提升。