FACTTRACK: 基于时间感知的故事提纲世界状态跟踪
计算与语言
2025-02-03 v2
摘要
虽然准确检测和纠正语言模型输出中的事实矛盾日益重要，但这在实际应用中极具挑战性。我们提出了一种新方法 FACTTRACK，用于跟踪原子事实并解决事实矛盾问题。关键在于 FACTTRACK 维护每个事实的时间感知有效区间，从而允许事实随时间变化。总体而言，FACTTRACK 包括四个步骤，用于更新每个新事件的世界状态数据结构：(1) 将事件分解为方向性原子事实；(2) 使用世界状态确定每个原子事实的有效区间；(3) 检测与世界状态中现有事实的矛盾；最终 (4) 将新事实添加到世界状态并更新现有原子事实。我们将 FACTTRACK 应用于结构化故事提纲的事实矛盾检测时，发现使用 LLaMA2-7B-Chat 的 FACTTRACK 在公平基线上显著优于使用 LLaMA2-7B-Chat 的基线方法，并达到与 GPT4 基线相当的性能。此外，使用 GPT4 时，FACTTRACK 显著优于 GPT4 基线。
引用
@article{arxiv.2407.16347,
title = {FACTTRACK: Time-Aware World State Tracking in Story Outlines},
author = {Zhiheng Lyu and Kevin Yang and Lingpeng Kong and Daniel Klein},
journal= {arXiv preprint arXiv:2407.16347},
year = {2025}
}
备注
22 pages