生物医学领域基于 Transformer 的语言模型实验评估
计算与语言
2021-01-01 v1 机器学习
摘要
随着健康数据中文本量的增长，大型预训练模型取得了快速进展，这些模型经极少任务特定修改即可应用于多种生物医学任务。鉴于这些模型的成本使其技术复现具挑战性，本文总结了在复现 BioBERT 及在生物医学领域进一步预训练与细致微调方面所进行的实验。我们还考察了领域特定与领域无关预训练模型在下游生物医学 NLP 任务上的有效性。我们的发现确认，预训练模型在生物医学领域部分下游 NLP 任务（问答与命名实体识别）中可具影响；然而，此改进或不足以证明领域特定预训练的高成本是合理的。
引用
@article{arxiv.2012.15419,
title = {An Experimental Evaluation of Transformer-based Language Models in the Biomedical Domain},
author = {Paul Grouchy and Shobhit Jain and Michael Liu and Kuhan Wang and Max Tian and Nidhi Arora and Hillary Ngai and Faiza Khan Khattak and Elham Dolatabadi and Sedef Akinli Kocak},
journal= {arXiv preprint arXiv:2012.15419},
year = {2021}
}