HiGarment：基于跨模态和谐的平面草图至真实服装图像扩散模型
计算机视觉与模式识别
2025-08-12 v2
摘要
基于扩散的服装合成任务主要聚焦于时尚领域的设计阶段，而服装生产过程在很大程度上仍未被探索。为弥补这一空白，我们引入了一项新任务：平面草图至真实服装图像（FS2RG），通过整合平面草图和文本指导来生成真实的服装图像。FS2RG 带来两个关键挑战：1）面料特征仅由文本提示指导，为基于扩散的模型提供的视觉监督不足，限制了其捕获细粒度面料细节的能力；2）平面草图和文本指导可能提供冲突信息，要求模型在保持结构连贯性的同时，选择性地保留或修改服装属性。为解决该任务，我们提出了 HiGarment，一种包含两个核心组件的新颖框架：i）多模态语义增强机制，跨文本和视觉模态增强面料表示；ii）和谐的交叉注意力机制，动态平衡来自平面草图和文本提示的信息，通过生成草图对齐（偏向图像）或文本指导（偏向文本）的输出来实现可控合成。此外，我们收集了多模态详细服装数据集，这是用于服装生成的最大开源数据集。实验结果和用户研究证明了 HiGarment 在服装合成中的有效性。代码和数据集可在 https://github.com/Maple498/HiGarment 获取。
引用
@article{arxiv.2505.23186,
title = {HiGarment: Cross-modal Harmony Based Diffusion Model for Flat Sketch to Realistic Garment Image},
author = {Junyi Guo and Jingxuan Zhang and Fangyu Wu and Huanda Lu and Qiufeng Wang and Wenmian Yang and Eng Gee Lim and Dongming Lu},
journal= {arXiv preprint arXiv:2505.23186},
year = {2025}
}
备注
ICCV 2025