中文

使用 ChatGPT 进行事实核查任务的实证研究

信息检索 2023-11-14 v1

摘要

ChatGPT 近来已成为执行多种 NLP 任务的强大工具。然而,ChatGPT 因生成非事实性回复而受到批评,这引发了人们对其在事实核查等敏感任务中可用性的担忧。本研究探讨三个关键研究问题:(1) ChatGPT 能否用于事实核查任务?(2) 使用 ChatGPT 进行事实核查任务时不同提示的性能如何?(3) 对于性能最佳的提示,ChatGPT 会犯哪些常见错误?具体而言,本研究通过在 FEVER 基准数据集上使用 ChatGPT 设计并比较三种不同提示在事实核查任务上的性能,开展全面系统的分析。

关键词

引用

@article{arxiv.2311.06592,
  title  = {An Empirical Study of Using ChatGPT for Fact Verification Task},
  author = {Mohna Chakraborty and Adithya Kulkarni and Qi Li},
  journal= {arXiv preprint arXiv:2311.06592},
  year   = {2023}
}