基于提示数据增强的黑盒少样本文本分类增强方法
计算与语言
2023-10-23 v2
摘要
训练或微调 GPT-3 等大规模语言模型（LLM）需要大量计算资源，这促使近期研究探索面向下游任务的参数高效适配。一个实用的研究方向是将这些模型视为黑盒并通过其推理 API 与之交互。本文研究如何在无法访问 LLM 梯度的情况下优化少样本文本分类。为此，我们将黑盒模型视为特征提取器，并利用增强后的文本数据训练一个分类器。数据增强通过对一个参数量远小于黑盒模型的辅助语言模型进行基于提示的微调来实现。在八个文本分类数据集上的大量实验表明，我们提出的方法（称为 BT-Classifier）显著优于最先进的黑盒少样本学习器，并与依赖全模型微调的方法表现相当。
引用
@article{arxiv.2305.13785,
title = {Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation},
author = {Danqing Luo and Chen Zhang and Jiahui Xu and Bin Wang and Yiming Chen and Yan Zhang and Haizhou Li},
journal= {arXiv preprint arXiv:2305.13785},
year = {2023}
}