使用 ChatGPT 进行事实核查任务的实证研究
信息检索
2023-11-14 v1
摘要
ChatGPT 近来已成为执行多种 NLP 任务的强大工具。然而,ChatGPT 因生成非事实性回复而受到批评,这引发了人们对其在事实核查等敏感任务中可用性的担忧。本研究探讨三个关键研究问题:(1) ChatGPT 能否用于事实核查任务?(2) 使用 ChatGPT 进行事实核查任务时不同提示的性能如何?(3) 对于性能最佳的提示,ChatGPT 会犯哪些常见错误?具体而言,本研究通过在 FEVER 基准数据集上使用 ChatGPT 设计并比较三种不同提示在事实核查任务上的性能,开展全面系统的分析。
引用
@article{arxiv.2311.06592,
title = {An Empirical Study of Using ChatGPT for Fact Verification Task},
author = {Mohna Chakraborty and Adithya Kulkarni and Qi Li},
journal= {arXiv preprint arXiv:2311.06592},
year = {2023}
}