SciFive：面向生物医学文献的文本到文本 Transformer 模型
计算与语言
2021-06-08 v1 人工智能
机器学习
摘要
在本报告中，我们介绍 SciFive，一个在大型生物医学语料库上预训练的域特定 T5 模型。我们的模型在命名实体关系、关系抽取、自然语言推理和问答任务上优于当前的 SOTA 方法（即 BERT、BioBERT、Base T5）。我们表明文本生成方法在广泛的生物医学 NLP 任务中具有显著潜力，特别是那些需要更长、更复杂输出的任务。我们的结果支持探索更困难的文本生成任务以及该领域新方法的开发。
引用
@article{arxiv.2106.03598,
title = {SciFive: a text-to-text transformer model for biomedical literature},
author = {Long N. Phan and James T. Anibal and Hieu Tran and Shaurya Chanana and Erol Bahadroglu and Alec Peltekian and Grégoire Altan-Bonnet},
journal= {arXiv preprint arXiv:2106.03598},
year = {2021}
}