LLM 是否可以通过询问相关问题来提高多模态事实核查效果？
计算与语言
2025-02-24 v2
摘要
传统事实核查依赖人类制定相关且有针对性的事实核查问题（FCQs），搜索证据并验证主张的真实性。虽然大型语言模型（LLM）常被用于大规模自动化证据检索和事实性验证，但由于缺乏 FCQ 的构建，其实际效果受限。为弥合这一差距，我们回答两个研究问题：（1）LLM 能否生成相关 FCQs？（2）LLM 生成的 FCQs 能否提高多模态事实核查效果？因此，我们引入了一个框架 LRQ-FACT，用于使用 LLM 生成相关 FCQs 以促进证据检索并提升事实核查效果，通过在多个模态中探索信息。通过大量实验，我们验证了 LRQ-FACT 能否生成不同类型的相关 FCQs，以及 LRQ-FACT 能否在多模态事实核查中持续优于基线方法。进一步分析说明了 LRQ-FACT 中每个组件如何提升事实核查性能。
引用
@article{arxiv.2410.04616,
title = {Can LLMs Improve Multimodal Fact-Checking by Asking Relevant Questions?},
author = {Alimohammad Beigi and Bohan Jiang and Dawei Li and Zhen Tan and Pouya Shaeri and Tharindu Kumarage and Amrita Bhattacharjee and Huan Liu},
journal= {arXiv preprint arXiv:2410.04616},
year = {2025}
}