GRATE: 通过门控旋转注意力实现归纳知识图谱基础模型的时间扩展

诸如Ultra和Trix之类的知识图谱基础模型通过学习关系图表示来实现强大的归纳迁移,这些表示可以泛化到未见过的实体和关系。将这种可迁移性扩展到时间知识图谱(TKG)仍然具有挑战性:现有的时间模型将其参数绑定到数据集特定的实体、关系或时间戳,并且并非为迁移到具有不相交词汇表的TKG而设计。我们提出了GRATE(用于时间编码的门控旋转注意力),一种实体侧消息函数,它不添加可学习参数,并通过根据每个边消息与查询的时间差旋转边消息来编码相对时间差,同时应用查询条件门控来选择时间相关的信号。GRATE集成到NBFNet风格的知识图谱基础模型中,同时保持了结构可迁移性。现有的TKG基准在共享的训练/测试词汇表内进行评估,无法直接测试跨数据集的时间迁移;因此,我们构建了GDELTIndT和WIKIIndT,这是具有不相交实体、关系和时间戳的归纳迁移基准套件,涵盖插值和外推。在这些基准和留出预测数据集上,一个联合预训练的GRATE检查点在大多数设置中优于静态基础模型。