基于多来源、多代理证据检索的事实核查

互联网上散布的误导信息对社会和个人构成严重威胁， necessitating robust and scalable fact-checking，这需要检索准确可信的证据。以往方法依赖从训练数据中学习的语义和社交情境模式，限制了其对新数据分布的泛化。最近提出的基于检索增强生成 (RAG) 的方法试图利用大语言模型的推理能力结合检索到的 grounding 证据文档。然而，这些方法主要依赖文本相似性进行证据检索，难以检索到捕获 rich document contents 中多跳语义关系的证据。这些局限导致在证据检索阶段忽略了证据与待核查主张之间细微的事实关联，从而导致 veracity 预测不准确。为解决这些问题，我们提出了 WKGFC，该方法以授权开放知识图谱为核心资源。设计了基于大语言模型的检索机制，以评估主张并检索最相关的知识子图，形成结构化证据用于事实验证。为补充知识图谱证据，我们检索网页内容进行补全。上述过程实现为自动马尔可夫决策过程 (MDP)：一个推理型大语言模型代理根据当前证据和主张决定采取何种行动。为将 MDP 应用于事实核查，我们使用 prompt optimization 对代理型大语言模型进行微调。