BERT 上多任务学习用于生物医学文本挖掘的实证研究
计算与语言
2020-05-07 v1
摘要
多任务学习（MTL）在自然语言处理应用中取得了显著成功。在这项工作中，我们研究了一种带有多个解码器的多任务学习模型，用于多种生物医学和临床自然语言处理任务，如文本相似度、关系抽取、命名实体识别和文本推理。我们的实证结果表明，MTL 微调模型在生物医学和临床领域分别比 SOTA transformer 模型（例如 BERT 及其变体）高出 2.0% 和 1.3%。成对 MTL 进一步展示了哪些任务可以提升或削弱其他任务的更多细节。这对于研究人员在为新问题选择合适模型时感到困扰的情境下尤为有帮助。代码和模型已在 https://github.com/ncbi-nlp/bluebert 公开可用。
引用
@article{arxiv.2005.02799,
title = {An Empirical Study of Multi-Task Learning on BERT for Biomedical Text Mining},
author = {Yifan Peng and Qingyu Chen and Zhiyong Lu},
journal= {arXiv preprint arXiv:2005.02799},
year = {2020}
}
备注
Accepted by BioNLP 2020