RadLing：面向高效的放射学报告理解
计算与语言
2023-06-06 v1
摘要
放射学领域的大多数自然语言任务使用在生物医学语料上预训练的语言模型。专门针对放射学预训练的语言模型很少，而在低数据环境下训练并能在微调任务中产生可比结果的则更少。我们提出 RadLing，一个使用 Electra-small (Clark et al., 2020) 架构持续预训练的语言模型，使用超过 50 万份放射学报告进行训练，能够在放射学领域的微调任务中与最先进（state-of-the-art）结果竞争。我们在本文中的主要贡献是知识感知掩码（knowledge-aware masking），这是一种分类学知识辅助的预训练任务，动态掩码 token 以在预训练期间注入知识。此外，我们还引入了知识库辅助的词汇扩展，以将通用分词词汇适配到放射学领域。
引用
@article{arxiv.2306.02492,
title = {RadLing: Towards Efficient Radiology Report Understanding},
author = {Rikhiya Ghosh and Sanjeev Kumar Karn and Manuela Daniela Danu and Larisa Micu and Ramya Vunikili and Oladimeji Farri},
journal= {arXiv preprint arXiv:2306.02492},
year = {2023}
}
备注
Association for Computational Linguistics (ACL), 2023