Taiyi：面向多样生物医学任务的双语微调大语言模型
计算与语言
2024-03-06 v2 人工智能
摘要
目的：现有多数微调生物医学大语言模型（LLM）聚焦于提升单语生物医学问答与对话任务中的表现。为探究微调 LLM 在不同语言多样生物医学 NLP 任务上的有效性，我们提出 Taiyi，一个面向多样生物医学任务的双语微调 LLM。材料与方法：我们首先整理了涵盖 10 余类任务类型的 140 个现有生物医学文本挖掘数据集（102 个英文和 38 个中文数据集）。随后提出两阶段监督微调策略以优化模型在各类任务上的表现。结果：在覆盖命名实体识别、关系抽取、文本分类、问答任务的 13 个测试集上的实验结果表明，Taiyi 相较通用 LLM 取得了更优性能。涉及额外生物医学 NLP 任务的案例研究进一步显示 Taiyi 在双语生物医学多任务上的可观潜力。结论：利用丰富高质量生物医学语料并开发有效微调策略可显著提升 LLM 在生物医学领域的表现。Taiyi 通过监督微调展现出双语多任务能力。然而，诸如信息抽取等本质上非生成类的任务对基于 LLM 的生成式方法仍具挑战，其表现仍不及较小语言模型的常规判别式方法。
引用
@article{arxiv.2311.11608,
title = {Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks},
author = {Ling Luo and Jinzhong Ning and Yingwen Zhao and Zhijun Wang and Zeyuan Ding and Peng Chen and Weiru Fu and Qinyu Han and Guangtao Xu and Yunzhi Qiu and Dinghao Pan and Jiru Li and Hao Li and Wenduo Feng and Senbo Tu and Yuqi Liu and Zhihao Yang and Jian Wang and Yuanyuan Sun and Hongfei Lin},
journal= {arXiv preprint arXiv:2311.11608},
year = {2024}
}