通过最优对偶化实现大型语言模型的一次性安全对齐

大型语言模型日益增长的安全问题迫切需要使其与多样的人类偏好对齐，以同时增强其有用性和安全性。一种有前景的方法是通过基于人类反馈的强化学习（RLHF）来强制执行安全约束。对于这种约束RLHF，典型的基于拉格朗日的原始-对偶策略优化方法计算成本高且通常不稳定。本文提出一种对偶化视角，将约束对齐简化为等价的无约束对齐问题。我们通过预优化一个具有闭式形式的平滑凸对偶函数来实现这一点。这种捷径消除了繁琐的原始-对偶策略迭代的需要，大大减少了计算负担并提高了训练稳定性。我们的策略在基于模型和基于偏好的设置中产生了两种实用算法（分别为MoCAN和PeCAN）。大量实验证明了我们算法的有效性和优势。