大型语言模型的对齐微调：对齐数据管线的数据为中心视角

大部分对齐微调文献围绕优化目标展开，而对齐数据的构建则常常被隐式处理。在这篇综述中，我们采用以数据为中心的视角，将对齐微调重新定义为管线设计问题。我们将对齐数据构建分解为三个相互作用的阶段：响应合成、偏好评估和偏好实例化，并利用此框架将现有对齐方法组织成一个统一的分类法。通过这一视角，我们识别了先前对齐方法中反复出现的设计权衡和失败模式，并提炼出一组高层次原则，阐明了管线设计选择如何影响最终的优化信号。最后，我们概述了对齐数据管线面临的开放性挑战，包括提示级对齐、智能体设置以及目标演化下的对齐。