WikiFactDiff：一个用于因果语言模型中原子事实知识更新的大型、真实且时间自适应数据集
计算与语言
2024-03-22 v1
摘要
大语言模型（LLMs）的事实性往往会随时间衰减，因为其训练时间之后发生的事件对它们来说是“未知”的。保持模型更新的一种方法可能是事实更新：即在模型内部插入、替换或删除某些简单（原子）事实的任务。为了研究这一任务，我们提出了WikiFactDiff，这是一个将两个日期之间事实知识的演变描述为简单事实集合的数据集，这些事实分为三类：新增、过时和静态。我们描述了由这三种基本更新类型的各种组合所产生的几种更新场景。事实由主体-关系-客体三元组表示；实际上，WikiFactDiff是通过比较Wikidata知识库在2021年1月4日和2023年2月27日的状态构建的。这些事实附带了言语化模板和完形填空测试，使得能够运行更新算法及其评估指标。与其他数据集（如zsRE和CounterFact）不同，WikiFactDiff构成了一个现实的更新设置，涉及各种更新场景，包括替换、归档和新实体插入。我们还展示了现有更新算法在WikiFactDiff上的评估。
引用
@article{arxiv.2403.14364,
title = {WikiFactDiff: A Large, Realistic, and Temporally Adaptable Dataset for Atomic Factual Knowledge Update in Causal Language Models},
author = {Hichem Ammar Khodja and Frédéric Béchet and Quentin Brabant and Alexis Nasr and Gwénolé Lecorvé},
journal= {arXiv preprint arXiv:2403.14364},
year = {2024}
}
备注
Accepted for publication at LREC-COLING 2024