探测预训练语言模型的疾病知识
计算与语言
2021-06-15 v1 人工智能
摘要
ClinicalBERT 等预训练语言模型在医学自然语言推理等任务上取得了令人印象深刻的成果。乍看之下，这似乎表明这些模型能够执行诸如将症状映射到疾病等医学推理任务。然而，我们发现 MedNLI 等标准基准中包含需要此类推理的样例相对较少。为了更好地理解现有语言模型的医学推理能力，本文引入 DisKnE，一个用于疾病知识评估(Disease Knowledge Evaluation)的新基准。构建该基准时，我们为每个正例 MedNLI 样例标注所需的医学推理类型，随后通过对这些正例进行对抗式破坏来创建负例。此外，我们按疾病划分训练-测试集，确保无法从训练数据中学到关于测试疾病的知识，并对假设的表述进行规范化以避免伪迹。这产生了一系列二分类问题，每种推理类型与每个疾病对应一个。当在所提基准上分析临床/生物医学领域的预训练模型时，我们发现其性能显著下降。
引用
@article{arxiv.2106.07285,
title = {Probing Pre-Trained Language Models for Disease Knowledge},
author = {Israa Alghanmi and Luis Espinosa-Anke and Steven Schockaert},
journal= {arXiv preprint arXiv:2106.07285},
year = {2021}
}
备注
Accepted by ACL 2021 Findings