面向少样本自然语言生成的缩放提示微调
计算与语言
2023-09-14 v1
摘要
日益增大的大语言模型（LLM）展现出更强的语言理解与生成能力，而在下游任务上对 LLM 进行微调的内存需求与计算成本却不可忽视。此外，微调通常需要来自具体任务的一定量数据，而数据收集成本也是实际应用中需考虑的另一问题。本工作中，我们关注于少样本自然语言生成（NLG）的参数高效微调（PEFT）方法，其在少样本情形下冻结 LLM 中大部分参数并仅调整一小部分参数，从而在保持甚至提升性能的同时降低内存占用、训练成本与标注成本。我们提出一种缩放提示微调（SPT）方法，其以不明显增加训练成本的方式在性能与泛化能力上超越常规 PT。对中间 SPT 的进一步研究揭示了 SPT 在少样本场景下的优越可迁移性，为数据匮乏与计算受限的环境提供了方案。此外，对现有 PEFT 方法的综合比较表明，某些在先前研究中以适中训练成本展现不错性能的方法（如 Prefix-Tuning）可能在少样本 NLG 任务中表现不佳，尤其在具有挑战性的数据集上。
引用
@article{arxiv.2309.06759,
title = {Scaled Prompt-Tuning for Few-Shot Natural Language Generation},
author = {Ting Hu and Christoph Meinel and Haojin Yang},
journal= {arXiv preprint arXiv:2309.06759},
year = {2023}
}