基于提示的多控制类型长度控制生成
计算与语言
2024-06-18 v1 人工智能
摘要
大型语言模型（LLM）因其在广泛的 NLP 任务上的卓越性能而受到广泛关注。实际应用中，用户往往希望生成的文本落在特定长度范围内，这使得长度控制生成成为重要议题，尤其是针对 GPT 类模型。现有长度控制方法大多 focus 于简单控制类型“等于”目标长度。不同于此，本文提出一种基于提示的方法，在多种控制类型下实现高度精确的长度控制。具体而言，我们采用强化学习（RL）和基于规则奖励模型给出的奖励信号进行样本筛选，通过奖励遵循特定控制指令的输出来增强模型的长度控制能力。此外，我们引入标准提示提取器来解析用户任意输入的指令。实验表明，我们的方法在多个控制类型下，显著提升了基于 CNNDM 和 NYT 等流行摘要数据集上基于提示的长度控制精度。此外，标准提示提取器和 RL 微调模型对未见的控制提示模板显示出强大的泛化能力。
引用
@article{arxiv.2406.10278,
title = {Prompt-Based Length Controlled Generation with Multiple Control Types},
author = {Renlong Jie and Xiaojun Meng and Lifeng Shang and Xin Jiang and Qun Liu},
journal= {arXiv preprint arXiv:2406.10278},
year = {2024}
}
备注
Accepted by ACL 2024 findings. arXiv admin note: text overlap with arXiv:2308.12030