Task Compass：以任务前缀扩展多任务预训练
计算与语言
2022-10-13 v1 人工智能
信息检索
机器学习
摘要
利用任务感知的标注数据作为监督信号来辅助大规模无标注数据上的自监督学习，已成为预训练语言模型的新趋势。现有研究表明，基于大规模监督任务的多任务学习会遭受跨任务的负面效应。为应对该挑战，我们提出了一种任务前缀引导的多任务预训练框架，以探索任务间关系。我们在 40 个数据集上进行了广泛实验，结果表明我们的模型不仅可作为广泛任务的强大基础骨干，也可作为分析任务关系的探测工具。由前缀反映的任务关系与任务间迁移学习性能相一致。它们还指出了利用互补任务进行数据增强的方向，帮助我们的模型在常识推理排行榜上取得与人类持平的结果。代码见 https://github.com/cooelf/CompassMTL
引用
@article{arxiv.2210.06277,
title = {Task Compass: Scaling Multi-task Pre-training with Task Prefix},
author = {Zhuosheng Zhang and Shuohang Wang and Yichong Xu and Yuwei Fang and Wenhao Yu and Yang Liu and Hai Zhao and Chenguang Zhu and Michael Zeng},
journal= {arXiv preprint arXiv:2210.06277},
year = {2022}
}
备注
Findings of EMNLP 2022