MMTryon：用于高质量时尚生成的多模态多参考控制框架
计算机视觉与模式识别
2024-11-21 v4
摘要
本文介绍了 MMTryon，一种多模态多参考虚拟试穿（VITON）框架，能够通过文本指令和多个服装图片输入，生成高质量的组合试穿结果。我们的 MMTryon 解决了 prior 文献中忽视的三个问题：1）支持多件试穿物品。现有方法通常为单件试穿任务（如上衣/下装、连衣裙）设计。2）服装搭配风格的指定。现有方法无法根据指令（如拉链/未拉链、卷起/未卷起等）定制搭配风格。3）分割依赖性。它们进一步严重依赖于类别特定的分割模型来识别替换区域，分割错误直接导致试穿结果中的显著瑕疵。为解决前两个问题，MMTryon 引入一种新型的多模态和多参考注意力机制，以整合来自参考图片的服装信息和来自文本指令的搭配风格信息。此外，为消除分割依赖，MMTryon 使用一种无分割的服装编码器，并利用一种新型可扩展的数据生成管道，将现有的 VITON 数据集转换为无需显式分割即可训练的形式。在高分辨率基准数据集和野外测试集上的大量实验表明，MMTryon 在定性和定量上均优于现有 SOTA 方法。MMTryon 在多件和风格可控虚拟试穿场景下的卓越性能，以及其能够从任意来源图片中以多种场景下的任意服装进行试穿的能力，为时尚领域的未来研究开辟了一条新道路。
引用
@article{arxiv.2405.00448,
title = {MMTryon: Multi-Modal Multi-Reference Control for High-Quality Fashion Generation},
author = {Xujie Zhang and Ente Lin and Xiu Li and Yuxuan Luo and Michael Kampffmeyer and Xin Dong and Xiaodan Liang},
journal= {arXiv preprint arXiv:2405.00448},
year = {2024}
}