基于上下文学习且无需知识的时序知识图谱预测
计算与语言
2023-10-23 v3
摘要
时序知识图谱（TKG）预测基准要求模型利用已知过去事实来预测未来事实。在本文中，我们采用大语言模型（LLMs）并通过上下文学习（ICL）将这些模型应用于此类基准。我们探究了 LLM 能否以及在多大程度上可用于 TKG 预测，尤其是在无任何微调或用于捕捉结构与时间信息的显式模块的情况下。在实验中，我们提出一个框架，将相关的历史事实转换为提示，并利用词元概率生成排序预测。令人惊讶的是，我们发现开箱即用的 LLM 与专为 TKG 预测精心设计并训练的最先进 TKG 模型表现相当。我们广泛的评估展示了在多个具有不同特征的模型与数据集上的性能，比较了用于准备上下文信息的不同启发式方法，并与主流 TKG 方法以及简单的频率和近因基线进行了对比。我们还发现，使用数值索引代替实体/关系名称（即隐藏语义信息）不会显著影响性能（Hit@1 变动 ±0.4%）。这表明先前的语义知识并非必要；相反，LLM 可以利用上下文中已有的模式来达到此类性能。我们的分析还揭示，ICL 使 LLM 能够从历史上下文中学习不规则模式，超越了基于常见或近期信息的简单预测。
引用
@article{arxiv.2305.10613,
title = {Temporal Knowledge Graph Forecasting Without Knowledge Using In-Context Learning},
author = {Dong-Ho Lee and Kian Ahrabian and Woojeong Jin and Fred Morstatter and Jay Pujara},
journal= {arXiv preprint arXiv:2305.10613},
year = {2023}
}
备注
Accepted to EMNLP 2023 main conference. 14 pages, 4 figures, 10 tables