基于检索增强的无监督跨任务泛化
计算与语言
2022-10-19 v2 人工智能
机器学习
摘要
人类能够通过回忆先前获得的相关技能并将其泛化到目标任务上，从而执行未见过的任务，即便完全没有监督信号。本文旨在无监督设定下提升诸如T0和FLAN等大规模多任务语言模型的此类跨任务泛化能力。我们提出一种名为ReCross的检索增强方法，该方法以少量无标签样本作为查询，检索上游数据的一个小子集，并利用它们更新多任务模型以获得更好的泛化能力。ReCross是一种简洁而有效的检索方法，结合了高效的稠密检索与有效的成对重排序。我们的结果与分析表明，它显著优于非检索方法及其他基线方法。
引用
@article{arxiv.2204.07937,
title = {Unsupervised Cross-Task Generalization via Retrieval Augmentation},
author = {Bill Yuchen Lin and Kangmin Tan and Chris Miller and Beiwen Tian and Xiang Ren},
journal= {arXiv preprint arXiv:2204.07937},
year = {2022}
}
备注
Accepted to NeurIPS 2022. Website: https://inklab.usc.edu/ReCross/