SemEval-2023 任务 7：面向临床试验数据的多证据自然语言推理
计算与语言
2023-05-12 v2 人工智能
机器学习
摘要
本文描述了 SemEval 2023 任务 7——面向临床试验数据的多证据自然语言推理（NLI4CT）——的结果，该任务包含两项子任务：基于临床试验数据的自然语言推理（NLI）任务与证据选择任务。所提出的挑战需要多跳生物医学与数值推理，这对开发能够大规模解读与检索医学证据、以提供个性化循证诊疗的系统具有重要意义。任务 1（蕴含任务）收到 40 名参与者的 643 份提交，任务 2（证据选择任务）收到 23 名参与者的 364 份提交。这些任务颇具挑战性，多数提交系统在蕴含任务上未能显著超越多数类基线，并且我们观察到证据选择任务上的性能显著优于蕴含任务。增加模型参数量会带来性能的直接提升，其影响远较生物医学预训练更为显著。未来工作可探索大型模型在泛化与数值推理上的局限，并研究扩充临床数据集的方法以实现更严格的测试并便利微调。我们预期本任务的数据集、模型与结果将对生物医学 NLI 与证据检索社区有所助益。数据集、竞赛排行榜与网站均公开可用。
引用
@article{arxiv.2305.02993,
title = {SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data},
author = {Maël Jullien and Marco Valentino and Hannah Frost and Paul O'Regan and Donal Landers and André Freitas},
journal= {arXiv preprint arXiv:2305.02993},
year = {2023}
}