大型语言模型的多目标语言控制
计算与语言
2024-06-25 v1
摘要
大型语言模型（LLMs）尽管在许多具有挑战性的基准任务上取得了突破，但倾向于生成冗长的回复，并且缺乏对输出复杂度的可控性，而这通常是人类用户在实践中更偏好的。在本文中，我们研究如何通过使用现成数据进行微调来精确控制LLM输出的多个语言复杂度。为此，我们提出了多控制微调（MCTune），该方法在指令微调的输入中将真实回复的多个语言复杂度值作为控制条件。我们在Alpaca-GPT4和WizardLM数据集上对LLaMA2-7B进行了微调。在广泛使用的基准上的评估表明，我们的方法不仅显著提高了LLM的多复杂度可控性，而且作为附带好处，还保持甚至提升了回复的质量。
引用
@article{arxiv.2406.16229,
title = {Multi-Objective Linguistic Control of Large Language Models},
author = {Dang Nguyen and Jiuhai Chen and Tianyi Zhou},
journal= {arXiv preprint arXiv:2406.16229},
year = {2024}
}