ControlEdit: 一种多模态局部服装图像编辑方法
计算机视觉与模式识别
2024-09-24 v1
摘要
多模态服装图像编辑指使用文本描述和视觉图像等数据作为控制条件，对服装图像进行精确调整和修改，从而有效提高设计师的工作效率并降低用户设计的门槛。本文我们提出一种新的图像编辑方法 ControlEdit，将服装图像编辑转化为多模态引导的局部填充。我们通过利用自监督学习方法解决收集真实图像数据集的困难。基于该学习方法，我们扩展特征提取网络的通道数，以确保编辑前后服装图像的风格一致。我们设计一种逆潜在损失函数以实现对非编辑区域内容的柔软控制。此外，我们采用 Blended Latent Diffusion 作为采样方法，使编辑边界自然过渡并确保非编辑区域内容的一致性。大量实验表明，ControlEdit 在定性和定量评估方面均优于基线算法。
引用
@article{arxiv.2409.14720,
title = {ControlEdit: A MultiModal Local Clothing Image Editing Method},
author = {Di Cheng and YingJie Shi and ShiXin Sun and JiaFu Zhang and WeiJing Wang and Yu Liu},
journal= {arXiv preprint arXiv:2409.14720},
year = {2024}
}