LM-CPPF：基于释义引导的数据增强的对比提示少样本微调
计算与语言
2023-08-25 v3
摘要
近年来，用于 NLP 的预训练语言模型取得了显著进展。然而，这些模型在小型数据集上微调时往往表现不佳。为解决此问题，研究者提出了多种适配方法。基于提示的微调可以说是最常见的方式，尤其对于较大的模型。先前研究表明，在基于提示的微调中加入对比学习是有效的，因为它有助于模型生成类间更具区分度的嵌入，并且由于模型同时从正例和负例中学习，也能更具样本效率。对比学习最重要的组成部分之一是数据增强，但与计算机视觉不同，针对 NLP 的有效数据增强仍具挑战性。本文提出 LM-CPPF，即语言模型的对比释义引导提示微调，其利用基于提示的少样本释义，使用生成式语言模型（尤其是 GPT-3 和 OPT-175B 等大型语言模型(LLM)）进行数据增强。我们在多个文本分类基准上的实验表明，该增强方法优于其他方法，如简单数据增强、回译和多种模板。
引用
@article{arxiv.2305.18169,
title = {LM-CPPF: Paraphrasing-Guided Data Augmentation for Contrastive Prompt-Based Few-Shot Fine-Tuning},
author = {Amirhossein Abaskohi and Sascha Rothe and Yadollah Yaghoobzadeh},
journal= {arXiv preprint arXiv:2305.18169},
year = {2023}
}
备注
10 pages, 1 figure, 8 tables, 1 algorithm Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics