D$^4$-VTON：基于差分扩散的动态语义解缠虚拟试穿
计算机视觉与模式识别
2024-07-23 v1
摘要
本文提出D-VTON，一种用于图像基虚拟试穿的创新解决方案。我们解决了前期研究中存在的语义在服装扭曲前后不一致的问题，以及依赖静态、注释驱动的服装解析器的局限性此外，我们针对扩散基虚拟试穿模型在处理inpainting和denoising等同时任务时的复杂性。我们的方法利用两项关键技术：首先，动态语义解缠模块（DSDM）从服装中提取抽象语义信息，以创建独特的局部流，改进自发现的方式下的精确服装扭曲。其次，通过整合差分信息跟踪路径（DITP），我们建立了一种新颖的扩散基虚拟试穿范式。该路径捕获不完整试穿输入与其完整版本之间的差分信息，使网络能够独立处理多种退化，从而最小化学习歧义并以最小开销实现逼真效果。广泛的实验表明，D-VTON在定量指标和定性评估方面均显著优于现有方法，展示了其在生成逼真图像和确保语义一致性方面的能力。
引用
@article{arxiv.2407.15111,
title = {D$^4$-VTON: Dynamic Semantics Disentangling for Differential Diffusion based Virtual Try-On},
author = {Zhaotong Yang and Zicheng Jiang and Xinzhe Li and Huiyu Zhou and Junyu Dong and Huaidong Zhang and Yong Du},
journal= {arXiv preprint arXiv:2407.15111},
year = {2024}
}
备注
ECCV2024