RIFF：学习改写输入以实现语言模型的少样本微调
计算与语言
2024-06-07 v2 机器学习
摘要
预训练语言模型（PLMs）可以针对下游文本处理任务进行准确的微调。最近，研究人员引入了几种参数高效微调方法，这些方法优化输入提示或调整少量模型参数（例如 LoRA）。在本研究中，我们探索了结合参数高效微调方法来改变原始任务输入文本的影响。为了最有效地改写输入文本，我们使用最大边际似然目标训练了一个少样本复述模型。使用六个少样本文本分类数据集，我们表明在训练和测试阶段通过复述来丰富数据，可以提升性能，超越仅靠参数高效微调所能达到的效果。我们实验所用的代码可在 https://github.com/SaeedNajafi/RIFF 找到。
引用
@article{arxiv.2403.02271,
title = {RIFF: Learning to Rephrase Inputs for Few-shot Fine-tuning of Language Models},
author = {Saeed Najafi and Alona Fyshe},
journal= {arXiv preprint arXiv:2403.02271},
year = {2024}
}
备注
Final Version (Findings of ACL2024)