大型语言模型的时间一致性事实性探测
计算与语言
2024-12-11 v2 机器学习
摘要
将大型语言模型作为替代知识库的广泛使用要求其在事实上保持一致，这需要针对释义查询同时具备正确性和一致性特征。近期，人们在基准数据集和指标方面做出了重要尝试，以评估 LLM 的这些特征。然而，其查询构造中的结构简单性（主语-关系-宾语）和当代关联性限制了事实性和一致性的更广泛定义。在本研究中，我们引入了 TeCFaP，一种新颖的时间一致性事实性探测任务，以在时间维度上扩展一致性事实性探测。为此，我们提出了 TEMP-COFAC，一个由前缀式英语查询释义组成的高质量数据集。随后，我们扩展了现有指标的定义，以表示跨时间维度的一致事实性。我们在多种 LLM 上进行了实验，发现其中大多数在 TeCFaP 上表现不佳。接着，我们提出了一种新颖的解决方案 CoTSeLF（一致性时间敏感学习框架），将多任务指令微调（MT-IT）与一致性时间敏感强化学习（CTSRL）相结合，以提升 LLM 的时间一致性事实性。我们的实验证明了 CoTSeLF 相对于多个基线的有效性。
引用
@article{arxiv.2409.14065,
title = {Temporally Consistent Factuality Probing for Large Language Models},
author = {Ashutosh Bajpai and Aaryan Goyal and Atif Anwer and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2409.14065},
year = {2024}
}