生物医学可解释实体表示
计算与语言
2021-06-18 v1 机器学习
摘要
预训练语言模型诱导出稠密实体表示，在面向实体的 NLP 任务上提供强劲性能，但此类表示并非直接可解释。这在诸如生物医学等重要领域可能成为模型采用的障碍。近期已有关于通用可解释表示学习的工作（Onoe and Durrett, 2020），但这些与领域无关的表示不易迁移至生物医学这一重要领域。本文中，我们通过将实体映射到医学本体中的概念，并由此映射到维基百科页面（其类别作为我们的类型），从大规模生物医学文本语料构建了新的实体类型系统与训练集。基于此映射，我们推导出生物医学可解释实体表示（BIERs），其中维度对应于细粒度实体类型，其值为给定实体属于对应类型的预测概率。我们提出了一种新方法，利用 BIER 最终的稀疏与中间稠密表示来促进模型与实体类型调试。我们展示了 BIERs 在包括命名实体消歧与实体标签分类在内的生物医学任务上取得强劲性能，并提供了错误分析以凸显其可解释性的效用，尤其在低监督设定下。最后，我们提供了所推导的 68K 生物医学类型系统、用于训练 BIER 模型的相应 3700 万三元组派生数据以及我们性能最佳的模型。
引用
@article{arxiv.2106.09502,
title = {Biomedical Interpretable Entity Representations},
author = {Diego Garcia-Olano and Yasumasa Onoe and Ioana Baldini and Joydeep Ghosh and Byron C. Wallace and Kush R. Varshney},
journal= {arXiv preprint arXiv:2106.09502},
year = {2021}
}
备注
Accepted into Findings of ACL-IJCNLP 2021