TaskWeb：为多任务 NLP 选择更优的源任务
计算与语言
2023-12-05 v2 人工智能
摘要
NLP 近期工作显示在大量任务上训练模型可获得更好的泛化性，但任务间如何关联、如何为新任务选择有帮助的训练任务尚不清晰。本工作中，我们探究通过成对任务迁移了解任务关系，是否有助于选择一个或多个有助于学习新目标任务的源任务。我们提供 TaskWeb，一个基于三种不同模型类型、规模与适配方法、涵盖约 25000 次实验的 22 个 NLP 任务成对任务迁移大规模基准。随后，我们基于 TaskWeb 分析设计新方法 TaskShop。TaskShop 利用 TaskWeb 估计使用某源任务学习新目标任务的收益，并为多任务训练选择有帮助的训练任务子集。我们的方法将源任务的总体排序与 top-k 精度分别提升 10% 与 38%。我们还使用 TaskShop 构建小得多的多任务训练集，在 11 个不同目标任务上零样本性能至少提升 4.3%。
引用
@article{arxiv.2305.13256,
title = {TaskWeb: Selecting Better Source Tasks for Multi-task NLP},
author = {Joongwon Kim and Akari Asai and Gabriel Ilharco and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2305.13256},
year = {2023}
}
备注
21 pages, 14 figures