持续预训练以提升零样本与少样本提示能力
计算与语言
2022-10-24 v2
摘要
近年来提出的语言模型提示方法在零样本和少样本设定下可达到较高准确率，同时只需极少甚至无需学习任务特定的参数。然而，这些方法仍常落后于完整的模型微调。本文研究专门的持续预训练阶段是否能改善“提示能力”（promptability），即使用自然语言提示的零样本性能或使用提示调优的少样本性能。我们揭示了现有持续预训练方法在提示能力上的不足设定，并识别出当前的方法论空白，通过详尽的大规模实验予以填补。我们证明，在多任务学习中融入可训练提示的持续预训练这一简单方案，相比现有方法在零样本和少样本设定下均提升了提示能力，相对提升最高达 31%。另一方面，我们发现采用直接优化少样本提示能力的 MAML 风格元学习的持续预训练方法，性能不佳。我们用两种提示调优方法验证了我们的发现，并基于结果就针对不同用例优化提示能力给出了具体建议。
引用
@article{arxiv.2210.10258,
title = {Continued Pretraining for Better Zero- and Few-Shot Promptability},
author = {Zhaofeng Wu and Robert L. Logan and Pete Walsh and Akshita Bhagia and Dirk Groeneveld and Sameer Singh and Iz Beltagy},
journal= {arXiv preprint arXiv:2210.10258},
year = {2022}
}
备注
EMNLP 2022