ChatGPT 是因果文本挖掘的未来吗？综合评估与分析
计算与语言
2024-02-26 v2
摘要
因果关系是人类认知的基础，并引起了不同研究领域的关注。随着文本数据量的不断增长，识别文本数据中的因果关系至关重要，而因果文本挖掘在提取有意义的模式方面发挥着关键作用。本研究对 ChatGPT 的因果文本挖掘能力进行了全面评估。首先，我们引入了一个基准，其范围超越了通用英语数据集，涵盖了特定领域和非英语数据集。我们还提供了一个评估框架，以确保 ChatGPT 与先前方法之间的公平比较。最后，我们的分析概述了采用 ChatGPT 进行因果文本挖掘的局限性和未来挑战。具体而言，我们的分析表明，ChatGPT 是各种数据集的良好起点。然而，当配备充足的训练数据时，先前的模型在性能上仍优于 ChatGPT。此外，ChatGPT 存在将非因果序列错误识别为因果序列的倾向。这些问题在模型的进阶版本（如 GPT-4）中更为显著。此外，我们强调了 ChatGPT 在处理复杂因果类型（包括句内和句间因果关系以及隐式因果关系）方面的局限性。该模型在有效利用上下文学习（in-context learning）和领域适应方面也面临挑战。我们发布了代码以支持该领域的进一步研究和发展。
引用
@article{arxiv.2402.14484,
title = {Is ChatGPT the Future of Causal Text Mining? A Comprehensive Evaluation and Analysis},
author = {Takehiro Takayanagi and Masahiro Suzuki and Ryotaro Kobayashi and Hiroki Sakaji and Kiyoshi Izumi},
journal= {arXiv preprint arXiv:2402.14484},
year = {2024}
}