基于Patch级DPO的无需微调的个性化图像生成
计算机视觉与模式识别
2025-06-30 v2
摘要
无需微调的个性化图像生成能够在测试阶段生成符合参考图像的定制化图像，因其高效性吸引了广泛的研究关注。当前无需微调的方法仅采用单一训练阶段并以简单图像重构任务为目标，通常在测试阶段生成与参考图像不一致的低质量图像。为缓解此问题，本工作借鉴近期DPO(直接偏好优化)技术，提出额外的训练阶段以改进预训练的个性化生成模型。然而，传统DPO仅确定两个样本的整体优劣，不利于个性化图像生成，因为生成图像常仅在局部图像块上与参考图像不一致。为此，本工作提出PatchDPO，估计生成图像中图像块的质量，并据此训练模型。为此，PatchDPO首先利用提出的自监督训练方法，结合预训练视觉模型，估计图像块质量。随后，PatchDPO采用加权训练方法，对估计的图像块质量进行训练，奖励高质量图像块，惩罚低质量图像块。实验结果表明，PatchDPO显著提升了多个预训练个性化生成模型的性能，在单对象和多对象个性化图像生成方面实现了最新水平。我们的代码已公开于 https://github.com/hqhQAQ/PatchDPO。
引用
@article{arxiv.2412.03177,
title = {PatchDPO: Patch-level DPO for Finetuning-free Personalized Image Generation},
author = {Qihan Huang and Weilong Dai and Jinlong Liu and Wanggui He and Hao Jiang and Mingli Song and Jie Song},
journal= {arXiv preprint arXiv:2412.03177},
year = {2025}
}