NLI4CT：面向临床试验报告的多证据自然语言推理
计算与语言
2023-10-31 v3 人工智能
机器学习
摘要
我们如何解读并检索医学证据以支持临床决策？多年来累积的临床试验报告（CTR）包含用于发展个性化医疗的不可或缺的信息。然而，手动检视超过 400,000 份临床试验报告以寻找实验性治疗的最佳证据在实践中不可行。自然语言推理（NLI）通过允许可扩展地计算文本蕴含，为此问题提供了潜在解决方案。然而，现有 NLI 模型在生物医学语料上表现不佳，且已发布的数据集未能捕捉 CTR 上推理的全部复杂性。本工作中，我们提出一种新颖资源以推进关于 CTR 推理的 NLI 研究。该资源包含两项主要任务。首先，确定自然语言陈述与 CTR 之间的推理关系。其次，检索支持事实以证明所预测的关系。我们提供 NLI4CT，一个包含 2400 条陈述与 CTR、并为这些任务标注的语料库。该语料库上的基线实验暴露了现有 NLI 模型的局限，6 个 SOTA NLI 模型仅达到最高 0.627 的 F1 分数。据我们所知，我们首个设计了涵盖完整 CTR 解读的任务。为鼓励针对这一具挑战性数据集的进一步工作，我们在 https://github.com/ai-systems/nli4ct 提供了语料库、竞赛排行榜、网站及复现基线实验的代码。
引用
@article{arxiv.2305.03598,
title = {NLI4CT: Multi-Evidence Natural Language Inference for Clinical Trial Reports},
author = {Maël Jullien and Marco Valentino and Hannah Frost and Paul O'Regan and Donal Landers and André Freitas},
journal= {arXiv preprint arXiv:2305.03598},
year = {2023}
}
备注
EMNLP 2023 Camera-ready, 15 pages