DyMO：基于动态多目标调度的无训练扩散模型对齐
计算机视觉与模式识别
2025-03-26 v3
摘要
文本到图像扩散模型对齐对于提高生成图像与人类偏好之间的对齐性至关重要。虽然基于训练的方法受限于高计算成本和数据集需求，但无训练对齐方法仍未得到充分探索，常常受限于准确性不足的指导。我们提出了一种即插即用的无训练对齐方法DyMO，用于在推理过程中对齐生成的图像与人类偏好。除了文本感知的人类偏好分数，我们引入了语义对齐目标，以增强扩散早期阶段的语义对齐，依据注意力图是噪声图像语义有效反映的事实。在不同步骤反映需求的基础上，我们提出了多目标的动态调度和中间循环步骤。针对不同预训练扩散模型和指标进行实验，证明了所提方法的有效性和鲁棒性。
引用
@article{arxiv.2412.00759,
title = {DyMO: Training-Free Diffusion Model Alignment with Dynamic Multi-Objective Scheduling},
author = {Xin Xie and Dong Gong},
journal= {arXiv preprint arXiv:2412.00759},
year = {2025}
}