Conifer：提升大型语言模型的复杂受限指令遵循能力
计算与语言
2024-04-04 v1 人工智能
机器学习
摘要
大型语言模型（LLM）遵循指令的能力对现实世界应用至关重要。尽管最近取得了进展，但多项研究强调，LLM 在面临具有挑战性的指令时仍会感到困难，尤其是那些包含复杂约束的指令，这阻碍了它们在各种任务中的有效性。为了应对这一挑战，我们引入了 Conifer，一个新颖的指令微调数据集，旨在增强 LLM 遵循具有复杂约束的多级指令的能力。我们利用 GPT-4，通过一系列 LLM 驱动的优化过程来精心构建数据集，以确保高质量。我们还提出了一种渐进式学习方案，强调由易到难的渐进过程，并从过程反馈中学习。使用 Conifer 训练的模型在指令遵循能力上表现出显著提升，特别是对于具有复杂约束的指令。在多个指令遵循基准上，我们的 7B 模型优于最先进的开源 7B 模型，甚至在某些指标上超过了比它大 10 倍的模型的性能。所有代码和 Conifer 数据集可在 https://www.github.com/ConiferLM/Conifer 获取。
引用
@article{arxiv.2404.02823,
title = {Conifer: Improving Complex Constrained Instruction-Following Ability of Large Language Models},
author = {Haoran Sun and Lixin Liu and Junjie Li and Fengyu Wang and Baohua Dong and Ran Lin and Ruohui Huang},
journal= {arXiv preprint arXiv:2404.02823},
year = {2024}
}