中文

从语义到层次:一种用于时序知识图谱推理的混合欧几里得-切向-超球空间模型

机器学习 2024-09-04 v1 人工智能

摘要

时序知识图谱(TKG)推理基于历史数据预测未来事件,但由于涉及复杂的语义和层次信息,面临挑战。现有的欧几里得模型在捕捉语义方面表现良好,但在层次结构方面不足。相反,超球模型在处理层次特征方面表现出色,但由于浅层模型参数的限制以及基于 L2 范数的深层模型缺乏适当归一化,难以表示复杂语义。当前解决方案,如曲率转换,无法解决这些问题。本文提出一种新颖的混合几何空间方法,利用欧几里得模型和超球模型的优势。该方法从单一空间转向多空间参数建模,有效地捕捉语义和层次信息。首先,通过欧几里得空间中的事实共现和自回归方法,加上归一化处理,捕捉复杂语义。随后,通过缩放机制将嵌入转换为切向空间,在保持语义信息的同时,通过查询-候选分离建模方法重新学习层次结构,然后转换为超球空间。最终,通过可学习的查询特定混合系数,将来自超球和欧几里得空间的评分函数相结合,实现对层次和语义学习的混合归纳偏置。在四个 TKG 基准测试上的实验结果表明,我们的方法在 YAGO 上的平均倒数排名(MRR)中将错误率降低最高可达 15.0%。此外,丰富的可视化分析验证了该方法的有效性,显示其对语义和层次复杂度各异的数据集具有自适应能力。

关键词

引用

@article{arxiv.2409.00149,
  title  = {From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning},
  author = {Siling Feng and Zhisheng Qi and Cong Lin},
  journal= {arXiv preprint arXiv:2409.00149},
  year   = {2024}
}