中文

PROMO:基于流匹配DiT backbone的可提示虚拟试穿

计算机视觉与模式识别 2026-03-13 v1

摘要

虚拟试穿(VTON)已成为线上零售的核心能力,真实的试穿结果提供可靠的尺码指导,降低退货率,惠及消费者和商家。基于扩散的VTON方法实现了照片般的写实合成,但常依赖复杂的架构如辅助参考网络,且采样速度较慢,在保真度与效率之间存在持续的权衡挑战。我们将VTON视为需要强条件生成的结构化图像编辑问题,要求满足三个关键要求:主体保持、纹理忠实传递、无缝融合。在此视角下,我们的训练框架具有普适性,可转移到更广泛的图像编辑任务。此外,VTON产生的配对数据构成了训练通用编辑器的丰富监督资源。我们提出了PROMO,一个基于Flow Matching DiT backbone构建的可提示虚拟试穿框架,采用潜空间多模态条件拼接。通过利用条件效率和自参考机制,我们显著降低了推理开销。在标准基准测试中,PROMO在视觉真实性方面超越了现有的VTON方法和通用图像编辑模型,同时在质量与速度之间实现了具竞争力的平衡。这些结果表明,流匹配变换器,结合潜空间多模态条件和自参考加速,为高质量虚拟试穿提供了有效且训练高效的解决方案。

关键词

引用

@article{arxiv.2603.11675,
  title  = {PROMO: Promptable Outfitting for Efficient High-Fidelity Virtual Try-On},
  author = {Haohua Chen and Tianze Zhou and Wei Zhu and Runqi Wang and Yandong Guan and Dejia Song and Yibo Chen and Xu Tang and Yao Hu and Lu Sheng and Zhiyong Wu},
  journal= {arXiv preprint arXiv:2603.11675},
  year   = {2026}
}

备注

CVPR 2026