SPARSEFIT：基于稀疏微调的少样本提示以联合生成预测与自然语言解释
计算与语言
2024-08-13 v3 人工智能
摘要
为其预测生成自然语言解释(NLEs)的模型近来受到越来越多的关注。然而，这种方法通常在训练时需要大量人工撰写的针对真实答案的 NLE 数据，这在某些应用中可能代价高昂甚至不可行。当仅有少量 NLE 可用时（少样本设定），将预训练语言模型(PLMs)微调与基于提示的学习相结合近期已展现出有前景的结果。然而，PLM 通常具有数十亿参数，使得全量微调代价高昂。我们提出 SparseFit，一种利用离散提示联合生成预测与 NLE 的稀疏少样本微调策略。我们在 T5 语言模型的三种规模与四个数据集上实验了 SparseFit，并与现有最先进的参数高效微调(PEFT)技术进行比较。我们发现，仅微调 6.8% 的模型参数即可在任务性能与所生成 NLE 的质量上取得与模型全量微调相竞争的结果，并且在预测准确率与 NLE 质量上平均优于其他 PEFT 方法。
引用
@article{arxiv.2305.13235,
title = {SPARSEFIT: Few-shot Prompting with Sparse Fine-tuning for Jointly Generating Predictions and Natural Language Explanations},
author = {Jesus Solano and Mardhiyah Sanni and Oana-Maria Camburu and Pasquale Minervini},
journal= {arXiv preprint arXiv:2305.13235},
year = {2024}
}