中文

分解困境:声明分解是提升还是加重了事实核查性能?

信息检索 2025-02-18 v2 人工智能 计算与语言

摘要

事实核查流程越来越多地采用“分解-然后-验证”范式,即将文本分解为更小的声明,分别进行验证,然后合并以做出真实性判断。尽管分解在此类流程中被广泛采用,但其对最终事实核查性能的影响仍未得到充分探索。一些研究报告了分解带来的改进,而另一些则观察到性能下降,表明其影响不一致。迄今为止,尚未进行全面的分析来理解这种变异性。为填补这一空白,我们提出了一项深入分析,明确考察了分解对下游验证性能的影响。通过错误案例检查和实验,我们引入了分解错误的分类,并揭示了准确性提升与分解引入的噪声之间的权衡。我们的分析为理解当前系统的不稳定性提供了新见解,并为未来研究改进事实核查流程中的声明分解提供了指导。

关键词

引用

@article{arxiv.2411.02400,
  title  = {Decomposition Dilemmas: Does Claim Decomposition Boost or Burden Fact-Checking Performance?},
  author = {Qisheng Hu and Quanyu Long and Wenya Wang},
  journal= {arXiv preprint arXiv:2411.02400},
  year   = {2025}
}

备注

NAACL 2025 Main