基于演示检索的元训练用于高效少样本学习
计算与语言
2023-07-04 v1
摘要
大语言模型在少样本 NLP 任务上展现出令人印象深刻的结果。然而，这些模型在内存和计算上都很密集。元训练允许以领域通用和任务无关的方式利用更小的模型进行少样本泛化；然而，这些方法本身导致的模型可能缺乏足够的参数化或知识来快速适应大量任务。为克服此问题，我们提出基于演示检索的元训练，其中我们使用稠密段落检索器（DPR）为每个示例检索语义相似的标注演示，以获得更多样化的监督。通过将外部知识与模型参数分离，我们可以使用元训练来训练参数高效且能在更多样任务上良好泛化的模型。我们从 UnifiedQA 和 CrossFit 构建元训练集，并基于 UnifiedQA 任务提出一个演示库。据我们所知，我们的工作是首个将检索与元训练结合、使用 DPR 模型检索演示、并同时利用来自多个任务的演示而非从目标任务的训练集中随机采样演示的工作。我们的方法在 QA、NLI 和文本分类任务（包括 SQuAD、QNLI 和 TREC）上优于多种针对性的参数高效和检索增强少样本方法。我们的方法可以在单个 GPU 上快速元训练和微调。
引用
@article{arxiv.2307.00119,
title = {Meta-training with Demonstration Retrieval for Efficient Few-shot Learning},
author = {Aaron Mueller and Kanika Narang and Lambert Mathias and Qifan Wang and Hamed Firooz},
journal= {arXiv preprint arXiv:2307.00119},
year = {2023}
}
备注
Accepted to Findings of ACL 2023