ChatGPT是一个好的因果推理器吗？一项综合评估
计算与语言
2023-10-13 v4 人工智能
摘要
因果推理能力对众多NLP应用至关重要。尽管ChatGPT在各种NLP任务中展现出令人印象深刻的新兴能力，但其因果推理表现如何仍不清楚。在本文中，我们进行了首项对ChatGPT因果推理能力的综合评估。实验表明，ChatGPT不是一个好的因果推理器，而是一个好的因果解释器。此外，ChatGPT在因果推理上存在严重的幻觉，可能由于自然语言中介因与非因果关系的报告偏差，以及ChatGPT的升级过程（如RLHF）。上下文学习（ICL）和思维链（CoT）技术会进一步加剧此类因果幻觉。此外，ChatGPT的因果推理能力对提示中用于表达因果概念的词语敏感，且闭合式提示优于开放式提示。对于句子中的事件，ChatGPT擅长捕捉显性因果而非隐性因果，并在事件密度较低、事件间词汇距离较小的句子中表现更好。代码可在 https://github.com/ArrogantL/ChatGPT4CausalReasoning 获取。
引用
@article{arxiv.2305.07375,
title = {Is ChatGPT a Good Causal Reasoner? A Comprehensive Evaluation},
author = {Jinglong Gao and Xiao Ding and Bing Qin and Ting Liu},
journal= {arXiv preprint arXiv:2305.07375},
year = {2023}
}
备注
Accepted to Findings of EMNLP 2023