MSciNLI：面向科学自然语言推理的多样化基准

科学自然语言推理（NLI）任务涉及预测从研究文章中提取的两个句子之间的语义关系。该任务最近被提出，并附带了一个名为 SciNLI 的新数据集，该数据集源自计算语言学领域发表的论文。在本文中，我们旨在为科学 NLI 任务引入多样性，并提出了 MSciNLI，一个包含从五个新科学领域提取的 132,320 个句子对的数据集。多领域的可用性使得研究科学 NLI 中的领域偏移成为可能。我们通过微调预训练语言模型（PLM）和提示大型语言模型（LLM）在 MSciNLI 上建立了强大的基线。PLM 和 LLM 基线的最高 Macro F1 分数分别为 77.21% 和 51.77%，表明 MSciNLI 对两类模型都具有挑战性。此外，我们表明领域偏移会降低科学 NLI 模型的性能，这证明了我们数据集中不同领域的多样化特征。最后，我们在中间任务迁移学习设置中使用了两个科学 NLI 数据集，并表明它们可以提高科学领域下游任务的性能。我们在 Github 上公开了我们的数据集和代码。