BioGPT：面向生物医学文本生成与挖掘的生成式预训练Transformer
计算与语言
2023-04-04 v3 人工智能
摘要
受预训练语言模型在通用自然语言领域的巨大成功启发，其在生物医学领域也吸引了越来越多的关注。在通用语言领域预训练语言模型的两大主要分支，即 BERT（及其变体）与 GPT（及其变体）中，前者已在生物医学领域被广泛研究，如 BioBERT 与 PubMedBERT。尽管它们在多种判别型下游生物医学任务上取得巨大成功，但生成能力的缺乏限制了其应用范围。本文中，我们提出 BioGPT，一种在大规模生物医学文献上预训练的领域专用生成式 Transformer 语言模型。我们在六项生物医学 NLP 任务上评估 BioGPT，并表明我们的模型在大多数任务上优于先前模型。特别地，我们在 BC5CDR、KD-DTI 与 DDI 端到端关系抽取任务上分别取得 44.98%、38.42% 与 40.76% 的 F1 分数，并在 PubMedQA 上取得 78.2% 准确率，创下新高。我们关于文本生成的案例研究进一步展示了 BioGPT 在生物医学文献上为生物医学术语生成流畅描述的优势。代码见 https://github.com/microsoft/BioGPT。
引用
@article{arxiv.2210.10341,
title = {BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining},
author = {Renqian Luo and Liai Sun and Yingce Xia and Tao Qin and Sheng Zhang and Hoifung Poon and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2210.10341},
year = {2023}
}
备注
Published at Briefings in Bioinformatics. Code is available at https://github.com/microsoft/BioGPT