MapReduce LoRA：面向生成模型的多偏好优化Pareto前沿的突破
计算机视觉与模式识别
2026-03-17 v5 人工智能
机器学习
摘要
基于奖励模型的人类反馈强化学习 (RLHF) 推动了生成模型对人类审美与感知偏好的对齐，但同时往往会产生对齐税收，即在提升一个维度时会牺牲其他维度。为此，我们引入两种互补方法：MapReduce LoRA 与奖励感知 Token 嵌入 (RaTE)。MapReduce LoRA 并行训练偏好特定的 LoRA 专家，迭代合并以细化共享基础模型；RaTE 学习奖励特定的 token 嵌入，在推理时进行组合以实现灵活的偏好控制。在文本到图像生成任务中（Stable Diffusion 3.5 Medium 和 FLUX.1-dev），在 GenEval、PickScore 和 OCR 上的改进分别为 36.1%、4.6% 和 55.7%，以及 32.7%、4.3% 和 67.1%。在文本到视频生成任务中（HunyuanVideo），视觉质量提升 48.1%，运动质量提升 90.0%。在语言任务中，Helpful Assistant (Llama-2 7B) 的有用性提升 43.4%，无害性提升 136.7%。我们的框架跨模态设定了新的多偏好对齐SOTA配方。
引用
@article{arxiv.2511.20629,
title = {MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models},
author = {Chieh-Yun Chen and Zhonghao Wang and Qi Chen and Zhifan Ye and Min Shi and Yue Zhao and Yinan Zhao and Hui Qu and Wei-An Lin and Yiru Shen and Ajinkya Kale and Irfan Essa and Humphrey Shi},
journal= {arXiv preprint arXiv:2511.20629},
year = {2026}
}
备注
CVPR 2026; Code: https://github.com/SHI-Labs/MapReduce-LoRA