大语言模型能否辨别科学假说的证据？社会科学中的案例研究
计算与语言
2024-03-27 v3 人工智能
摘要
假说的提出与检验是实证研究的中心。一个强有力的假说是基于现有证据、并通过对相关文献的全面把握而做出的最佳猜测。然而，随着每年发表的科学文章数量呈指数增长，针对给定假说的人工证据聚合与综合成为一项挑战。我们的工作探究了当前大语言模型（LLMs）基于科学摘要文本辨别支持或反驳特定假说之证据的能力。我们分享了一个用于科学假说证据任务的新数据集，其采用社会科学中研究的社区驱动标注。我们将 LLMs 的性能与若干最先进基准进行比较，并指明该领域未来研究的机遇。数据集可在 https://github.com/Sai90000/ScientificHypothesisEvidencing.git 获取。
引用
@article{arxiv.2309.06578,
title = {Can Large Language Models Discern Evidence for Scientific Hypotheses? Case Studies in the Social Sciences},
author = {Sai Koneru and Jian Wu and Sarah Rajtmajer},
journal= {arXiv preprint arXiv:2309.06578},
year = {2024}
}