基于生物医学实体表示 Transformer 的药物与疾病解释学习

自由文本中的概念归一化是每个文本挖掘流程中的关键步骤。基于双向编码器表示来自 Transformer（BERT）的神经网络架构已在生物医学领域取得最先进结果。在药物发现与开发背景下，临床试验对于确立药物疗效与安全性必不可少。我们研究了在缺乏标注数据的零样本设定下，将概念归一化从通用生物医学领域迁移到临床试验领域的有效性。我们提出一种基于微调 BERT 架构的简单而有效的两阶段神经方法。在第一阶段，我们训练一个度量学习模型，通过三元组损失优化提及与概念的相对相似性。该模型在可用的科学摘要标注语料上训练，以获得概念名称与文本中实体提及的向量嵌入。在第二阶段，我们在嵌入空间中找到与给定临床提及最接近的概念名称表示。我们在摘要数据集以及将干预与疾病映射至药物与疾病术语的试验记录真实数据集上评估了若干模型，包括最先进架构。大量实验验证了我们的方法在从科学文献到临床试验的知识迁移中的有效性。