基于指令跟随 LLM 的生成驱动对比自训练用于零样本文本分类
计算与语言
2024-04-16 v2 人工智能
摘要
大语言模型（LLM）在零样本语言理解中的卓越表现引起了广泛关注。然而，由于其庞大的模型规模，将 LLM 用于大规模推理或领域特定微调需要巨大的计算资源。为克服这些限制，我们提出一种新方法 GenCo，利用 LLM 强大的生成能力辅助训练更小且更灵活的语言模型。在我们的方法中，LLM 以两种重要方式参与小模型的自训练循环：首先，LLM 用于为每个输入实例增补多种可能续写，丰富其语义上下文以增进理解；其次，它通过基于预测标签重写输入文本，帮助构建额外的高质量训练对。这确保生成文本与预测标签高度相关，缓解伪标注中的预测错误，同时减少对大量无标签文本的依赖。实验中，当仅有有限（少于原始 5%）的领域内文本数据可用时，GenCo 优于既往最优方法。值得注意的是，我们的方法超越了使用人工提示的 Alpaca-7B，凸显了利用 LLM 进行自训练的潜力。
引用
@article{arxiv.2304.11872,
title = {Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM},
author = {Ruohong Zhang and Yau-Shian Wang and Yiming Yang},
journal= {arXiv preprint arXiv:2304.11872},
year = {2024}
}