ZeroPrompt：将基于提示的预训练扩展至 1000 项任务可改善零样本泛化
机器学习
2022-11-01 v2 计算与语言
摘要
我们提出一种用于零样本泛化的多任务预训练方法 ZeroPrompt，聚焦于任务扩展与零样本提示。此前的模型仅在数十项任务上训练，我们首次利用真实数据将任务规模扩展至 1000 项。这带来一个关键发现：任务扩展可作为模型扩展的高效替代方案；即在任务数量极多时，模型尺寸对性能影响甚微。我们的结果表明，任务扩展可通过 FLOPs 将训练效率提升 30 倍。此外，我们提出一种结合遗传算法以自动搜索未见任务最佳提示的提示方法，以及若干其他改进。经验上，ZeroPrompt 在多种学术与生产数据集上大幅改善了零样本学习的效率与性能。
引用
@article{arxiv.2201.06910,
title = {ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization},
author = {Hanwei Xu and Yujun Chen and Yulun Du and Nan Shao and Yanggang Wang and Haiyu Li and Zhilin Yang},
journal= {arXiv preprint arXiv:2201.06910},
year = {2022}
}
备注
18 pages