中文

似曾相识:基于前缀微调的对比历史建模用于时序知识图谱推理

人工智能 2024-04-02 v1 计算与语言 机器学习

摘要

时序知识图谱推理(TKGR)是在复杂场景(如归纳和直推设置)中推断不完整TKG缺失事实的任务,正日益受到关注。最近,为了减轻对TKG中结构化连接的依赖,基于文本的方法被开发出来,利用实体描述的丰富语言信息。然而,由于预训练语言模型的巨大参数和不灵活性,现有的基于文本的方法难以平衡文本知识和时序信息,且需要计算昂贵的专门训练策略。为了在各种复杂场景中挖掘基于文本的模型在TKGR中的潜力,我们提出了ChapTER,一种用于时序推理的对比历史建模框架,带有前缀微调。ChapTER将历史上下文化的文本输入伪孪生编码器,通过查询和候选之间的对比估计来实现文本-时序平衡。通过引入虚拟时间前缀标记,它应用基于前缀的微调方法,使冻结的PLM能够适应不同设置下的TKGR任务。我们在四个直推和三个少样本归纳TKGR基准上评估了ChapTER,实验结果表明,ChapTER仅用0.17%的调优参数就实现了优于竞争基线的性能。我们进行了彻底的分析,以验证ChapTER的有效性、灵活性和效率。

关键词

引用

@article{arxiv.2404.00051,
  title  = {Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning},
  author = {Miao Peng and Ben Liu and Wenjie Xu and Zihao Jiang and Jiahui Zhu and Min Peng},
  journal= {arXiv preprint arXiv:2404.00051},
  year   = {2024}
}

备注

Accepted to NAACL 2024 Findings