In-BoXBART:将指令引入生物医学多任务学习
计算与语言
2022-04-19 v1
摘要
单任务模型在解决特定任务方面已被证明至关重要;然而,在需要多任务处理且表现出领域偏移的实际应用中,它们存在局限。近来,指令提示在多任务泛化方面显示出显著改进;然而,在生物医学领域中指令提示与多任务学习(MTL)的影响尚未被系统研究。受此启发,本文探究指令提示对生物医学 MTL 的影响。我们引入 BoX,一个涵盖(X)各类别的 32 项生物医学 NLP 指令任务的集合。利用该元数据集,我们提出一个称为 In-BoXBART 的统一模型,其可在无任何任务特定模块的情况下联合学习 BoX 的所有任务。据我们所知,这是在生物医学领域提出统一模型并利用指令实现多个生物医学任务间泛化的首次尝试。实验结果表明,所提模型:1)平均上优于单任务基线约 3%、优于多任务(无指令)基线约 18%;2)在小样本学习(即每任务 32 个实例)中平均相比单任务基线显示出约 23% 的提升。我们的分析表明,BoX 中各任务均有显著改进空间,意味着未来研究的方向。
引用
@article{arxiv.2204.07600,
title = {In-BoXBART: Get Instructions into Biomedical Multi-Task Learning},
author = {Mihir Parmar and Swaroop Mishra and Mirali Purohit and Man Luo and M. Hassan Murad and Chitta Baral},
journal= {arXiv preprint arXiv:2204.07600},
year = {2022}
}
备注
NAACL 2022 Findings