ELECTRAMed：一种面向生物医学自然语言处理的新预训练语言表示模型
计算与语言
2021-04-21 v1
摘要
海量的生物医学科学文本迫切需要开发能够有效处理广泛生物医学自然语言处理（NLP）任务的语言模型。近期主流方法为领域专用模型，其先用通用领域文本数据初始化，再于多种科学语料上训练。然而，已有观察表明，对于存在大规模语料的专业领域，仅利用领域内知识从头训练模型可能取得更优结果。此外，近期对预训练计算成本的日益关注催生了更高效架构的设计，如 ELECTRA。本文提出一种适用于生物医学领域的预训练领域专用语言模型 ELECTRAMed。该新方法继承了通用领域 ELECTRA 架构的学习框架及其计算优势。在多个生物医学 NLP 任务基准数据集上的实验支持了 ELECTRAMed 的有效性：其在 BC5CDR 语料上的命名实体识别任务中取得了新的最优（state-of-the-art）结果，并在第 7 届 BioASQ-factoid 问答任务挑战赛的 5 次运行中有 2 次取得最佳结果。
引用
@article{arxiv.2104.09585,
title = {ELECTRAMed: a new pre-trained language representation model for biomedical NLP},
author = {Giacomo Miolo and Giulio Mantoan and Carlotta Orsenigo},
journal= {arXiv preprint arXiv:2104.09585},
year = {2021}
}