面向知识图谱的 Transformer 结构归纳偏置研究：Tabula RASA 方法
机器学习
2026-05-12 v3 人工智能
摘要
什么结构归纳偏置有助于 Transformer 对知识图谱进行推理？我们通过对最小 Transformer 修改进行受控消除，消除四个可独立移除的组件（稀疏邻接掩码、边类型偏置、查询缩放、值门控），从而隔离哪些结构信号驱动多跳推理。我们的发现颇具决策性：稀疏邻接掩码aloneaccount for the dominant share of improvement over unmasked transformers (+72.5pp on 3-hop MetaQA, +45.5pp on WebQSP, +53.9pp on CWQ)，而学习到的关系参数仅提供有限的细化，且在缺乏结构引导时可能适得其反。零样本实验提供了与架构无关的独立佐证：掩码化注意力在边缘类型缺失时比关系特定权重慢 4.0 倍退化。多跳知识图谱问答的有用归纳偏置主要是拓扑性的，而非关系性的。
引用
@article{arxiv.2602.02834,
title = {What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs? A Study with Tabula RASA},
author = {Jonas Petersen and Camilla Mazzoleni and Gian-Alessandro Lombardi and Federico Martelli and Riccardo Maggioni},
journal= {arXiv preprint arXiv:2602.02834},
year = {2026}
}
备注
8 pages + appendix, 9 figures