划分-验证-精炼：LLM能否通过自我对齐来处理复杂指令？
人工智能
2025-03-03 v2 机器学习
摘要
近期研究表明，LLM在涉及多个约束（如长度、格式、情感）的复杂指令方面存在困难。现有工作通过微调来解决此问题，但依赖数据质量且计算成本高。另一种方法是利用LLM的自我纠正来优化响应以更好地遵循约束，但受限于反馈质量，LLM无法生成可靠反馈或检测错误。此外，其有效性依赖于少量示例说明响应修改。鉴于复杂指令中的约束多样化，手动为每种约束类型构建此类示例既费时又 suboptimal。为此，我们提出划分-验证-精炼（Divide-Verify-Refine, DVR）框架，包含三个步骤：（1）将复杂指令划分为单个约束并准备相应工具；（2）使用提供严格检查和文本指导的工具（如用于格式检查的Python工具或用于内容分析的预训练分类器）进行验证；（3）精炼：为最大化精炼效果，我们提出动态少样本提示方法，精炼库收集成功的精炼案例，这些案例被选择性检索以用于后续精炼。鉴于现有数据集缺乏复杂度，我们构建了一个新的复杂指令数据集。实验表明，DVR可使Llama3.1-8B的约束遵循度翻倍，使Mistral-7B的性能提升三倍。
引用
@article{arxiv.2410.12207,
title = {Divide-Verify-Refine: Can LLMs Self-Align with Complex Instructions?},
author = {Xianren Zhang and Xianfeng Tang and Hui Liu and Zongyu Wu and Qi He and Dongwon Lee and Suhang Wang},
journal= {arXiv preprint arXiv:2410.12207},
year = {2025}
}
备注
Under review