基于文本到文本模型的组合式零样本领域迁移
计算与语言
2023-03-24 v1 机器学习
摘要
标签稀缺是专业领域提升任务性能的瓶颈。我们提出一种新颖的组合式迁移学习框架(DoT5——领域组合式零样本 T5)用于零样本领域迁移。在无法获取领域内标签的情况下,DoT5 以多任务方式联合学习领域知识(来自无标签领域内自由文本的 MLM)与任务知识(来自更易获取的通域数据的任务训练)。为提升任务训练的可迁移性,我们设计了一种名为 NLGU 的策略:同时训练用于领域内标签到数据生成的 NLG(支持自微调的数据增强)以及用于标签预测的 NLU。我们在生物医学领域及资源匮乏的放射学子领域上评估 DoT5,聚焦于 NLI、文本摘要与嵌入学习。DoT5 通过多任务学习展示了组合式迁移学习的有效性。特别地,在 RadNLI 上,DoT5 以超过 7 个绝对精度点的优势优于当前零样本迁移的 SOTA。我们通过消融实验与案例研究验证 DoT5,证明其解决需领域专业知识的困难 NLI 样例的能力。
引用
@article{arxiv.2303.13386,
title = {Compositional Zero-Shot Domain Transfer with Text-to-Text Models},
author = {Fangyu Liu and Qianchu Liu and Shruthi Bannur and Fernando Pérez-García and Naoto Usuyama and Sheng Zhang and Tristan Naumann and Aditya Nori and Hoifung Poon and Javier Alvarez-Valle and Ozan Oktay and Stephanie L. Hyland},
journal= {arXiv preprint arXiv:2303.13386},
year = {2023}
}
备注
Accepted at TACL, pre-MIT Press publication version. 16 pages, 4 figures