无提示的高效少样本学习
计算与语言
2022-09-23 v1
摘要
近期的少样本方法，如参数高效微调（PEFT）和模式利用训练（PET），已在标签稀缺设定下取得令人印象深刻的成果。然而，它们难以使用，因为它们受手工设计提示的高变异性影响，且通常需要十亿参数语言模型以实现高准确率。为解决这些缺点，我们提出 SetFit（Sentence Transformer 微调），一个高效且无提示的 Sentence Transformers（ST）少样本微调框架。SetFit 首先以对比孪生方式在少量文本对上微调预训练 ST。所得模型随后用于生成丰富文本嵌入，以训练分类头。这一简单框架无需提示或 verbalizer，并以比现有技术少几个数量级的参数实现高准确率。我们的实验表明，SetFit 取得与 PEFT 和 PET 技术相当的结果，同时训练速度快一个数量级。我们还展示 SetFit 可通过简单替换 ST 主体应用于多语言设定。我们的代码见 https://github.com/huggingface/setfit，数据集见 https://huggingface.co/setfit。
引用
@article{arxiv.2209.11055,
title = {Efficient Few-Shot Learning Without Prompts},
author = {Lewis Tunstall and Nils Reimers and Unso Eun Seo Jo and Luke Bates and Daniel Korat and Moshe Wasserblat and Oren Pereg},
journal= {arXiv preprint arXiv:2209.11055},
year = {2022}
}