SMedBERT：一种融合结构化语义知识增强的医学文本挖掘预训练语言模型
计算与语言
2021-08-23 v1
摘要
近年来，通过注入知识事实来增强语言理解能力，预训练语言模型（PLMs）的性能得到了显著提升。对于医学领域，背景知识来源尤为有用，因为海量的医学术语及其复杂关系在文本中难以理解。在本工作中，我们提出了 SMedBERT，一种在大规模医学语料上训练、并融合来自链接实体邻居的深度结构化语义知识的医学 PLM。在 SMedBERT 中，我们提出了提及-邻居混合注意力来学习异质实体信息，将实体类型的语义表示注入到同质的邻近实体结构中。除了将知识作为外部特征进行整合外，我们提出将知识图谱中链接实体的邻居作为文本提及的额外全局上下文，使它们能够通过共享邻居进行交互，从而丰富其语义表示。实验表明，SMedBERT 在各种知识密集型的的中文医学任务上显著优于强基线模型。它还提升了问答、问题匹配和自然语言推理等其他任务的性能。
引用
@article{arxiv.2108.08983,
title = {SMedBERT: A Knowledge-Enhanced Pre-trained Language Model with Structured Semantics for Medical Text Mining},
author = {Taolin Zhang and Zerui Cai and Chengyu Wang and Minghui Qiu and Bite Yang and Xiaofeng He},
journal= {arXiv preprint arXiv:2108.08983},
year = {2021}
}
备注
ACL2021