InpaintDPO：通过多样化偏好优化消除前景条件图像填充中的空间关系幻觉
计算机视觉与模式识别
2025-12-18 v1
摘要
前景条件图像填充旨在根据文本提示生成与给定前景主体和谐谐的背景，是可控图像生成中的重要子领域。当前方法的常见挑战是前景主体与生成背景之间发生空间关系幻觉，包括不合适的尺度、位置关系以及视角。严重影响的是，空间合理性的主观性质使得其量化具有挑战性，妨碍了使用传统基于奖励的RLHF方法。为此，我们提出了InpaintDPO——首个专用于前景条件图像填充中空间合理性的直接偏好优化（DPO）框架，确保前景与背景元素之间具有合理的空间关系。为解决标准DPO中由win-lose对中相同前景导致的梯度冲突，我们提出了MaskDPO，将偏好优化限制仅用于背景，以增强背景的空间关系，同时保留前景区域的填充损失以实现前景的稳健保留。为增强前景-背景边界的连贯性，我们提出了条件非对称偏好优化，该方法通过差异化裁剪操作采样对，应用全局偏好优化以促进情境感知并增强边界连贯性。最后，基于获胜样本在合理空间关系上的共通性，我们提出了共享常识偏好优化，以进一步促进模型对高质量获胜样本中空间常识的理解，进一步推动共享空间合理性。
引用
@article{arxiv.2512.15644,
title = {InpaintDPO: Mitigating Spatial Relationship Hallucinations in Foreground-conditioned Inpainting via Diverse Preference Optimization},
author = {Qirui Li and Yizhe Tang and Ran Yi and Guangben Lu and Fangyuan Zou and Peng Shu and Huan Yu and Jie Jiang},
journal= {arXiv preprint arXiv:2512.15644},
year = {2025}
}