批判性问题生成：动机与挑战
计算与语言
2024-10-21 v1
摘要
大型语言模型（LLM）的发展带来了在虚假信息抗议策略方面取得的令人印象深刻的性能，例如对抗性论点生成。然而，LLM仍严重受限于过时的信息以及其生成幻觉内容的倾向。在这些问题之外，我们提出了一种新任务，即批判性问题生成（Critical Questions Generation, CQs），该任务涉及处理论证性文本以生成其所提出的批判性问题（CQs）。在论证理论中，CQs是旨在揭示论证盲点的工具，通过指向其可能缺失的信息来实现。因此，与其尝试部署LLM来产生有知识且相关的对抗性论点，我们使用它们来质疑论点，而无需任何外部知识。使用LLM进行CQs生成的研究需要一个参考数据集进行大规模实验。因此，在本工作中，我们调查了两种互补的方法来创建此资源：（i）以韦尔顿的论证理论中定义的模板实例化CQs，（ii）使用LLM作为CQs生成器。通过这种方式，我们为建立有效CQs的标准提供了程序，并得出结论，尽管LLM是合理的CQs生成器，但在这一任务中仍有广泛的改进余地。
引用
@article{arxiv.2410.14335,
title = {Critical Questions Generation: Motivation and Challenges},
author = {Blanca Calvo Figueras and Rodrigo Agerri},
journal= {arXiv preprint arXiv:2410.14335},
year = {2024}
}
备注
14 pages, 3 figures, 7 tables, to be published in the 28th Conference on Computational Natural Language Learning (CoNLL 2024)