DreamMix：用于自定义图像填充中增强可编辑性的对象属性解耦
计算机视觉与模式识别
2025-09-25 v2
摘要
受扩散模型快速发展的驱动，主体导向图像填充最近受到关注。除了图像引导外，近期研究还探索将文本引导纳入，以实现保持身份但局部可编辑的对象填充。然而，这些方法仍存在身份过拟合问题，即原始属性与目标文本指令保持耦合。为克服此限制，我们提出 DreamMix，一种擅长在用户指定区域插入目标对象，同时实现任意文本驱动属性修改的扩散框架。DreamMix 引入了三个关键组件：(i) 属性解耦机制 (ADM)，合成多样化属性增强图像-文本对以缓解过拟合；(ii) 文本属性替换 (TAS) 模块，通过正交分解隔离目标属性；(iii) 无缝填充框架 (DIF)，分离局部生成与全局和谐。广泛的实验表明，DreamMix 在多个填充 backbone 上实现了身份保存与属性可编辑性之间的卓越平衡，适用于对象插入、属性编辑和小对象填充等各种应用。
引用
@article{arxiv.2411.17223,
title = {DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting},
author = {Yicheng Yang and Pengxiang Li and Lu Zhang and Liqian Ma and Ping Hu and Siyu Du and Yunzhi Zhuge and Xu Jia and Huchuan Lu},
journal= {arXiv preprint arXiv:2411.17223},
year = {2025}
}