QuestGen:面向事实核查应用的问题生成方法的有效性
计算与语言
2024-08-02 v2
摘要
验证事实核查声明是一项重大挑战,即使对人类而言也是如此。近期研究表明,将声明分解为相关问题以收集证据可以提升事实核查过程的效率。在本文中,我们提供了经验证据,表明这种问题分解可以有效自动化。我们证明,针对问题生成任务使用来自各种数据集的数据增强进行微调的较小生成模型,性能优于大型语言模型高达 8%。令人惊讶的是,在某些情况下,使用机器生成的问题检索到的证据在事实核查方面比人工编写的问题检索到的证据更为有效。我们还对分解后的问题进行了人工评估,以衡量生成问题的质量。
引用
@article{arxiv.2407.21441,
title = {QuestGen: Effectiveness of Question Generation Methods for Fact-Checking Applications},
author = {Ritvik Setty and Vinay Setty},
journal= {arXiv preprint arXiv:2407.21441},
year = {2024}
}
备注
Accepted in CIKM 2024 as a short paper 4 pages and 1 page references. Fixed typo in author name