面向对齐中心范式：大型语言模型指令调优综述

指令调优是将大型语言模型（LLM）与人类意图、安全约束和领域特定需求对齐的关键技术。本综述对完整流程提供了全面概述，涵盖 (i) 数据收集方法，(ii) 全参数与参数高效微调策略，以及 (iii) 评估协议。我们将数据构建划分为三大范式：专家标注、从更大模型蒸馏以及自我改进机制，各自提供质量、可扩展性与资源成本之间的不同权衡。微调技术涵盖从传统监督训练到轻量级方法（如低秩适应 LoRA 和前缀调优），重点在于计算效率与模型可复用性。我们进一步探讨在多语言和多模态场景下评估忠实性、实用性和安全性的挑战，突出医疗、法律和金融等领域特定基准的出现。最后，我们讨论了自动数据生成、自适应优化和鲁棒评估框架等有前景的方向，论证了数据、算法与人类反馈的更紧密整合对于推进指令调优LLM至关重要。本综述旨在为研究人员和从业者提供一个实用参考，以设计既有效又可靠地与人类意图对齐的LLM。