AnyFit：面向任意场景下任意服装组合的可控虚拟试穿
计算机视觉与模式识别
2024-05-29 v1 人工智能
机器学习
摘要
尽管图像基虚拟试穿取得了显著进展，但现有方法仍不足以在各种情景下提供高保真且稳健的拟合图像，其模型在服装风格不合适以及训练过程中质量下降方面存在问题，更未支持各种服装组合。因此，我们首先提出一种轻量级、可扩展且用于服装组合的算子——Hydra Block，通过并行注意力机制促进来自条件编码分支中多个服装特征的注入。其次，为显著提升模型在真实场景中的鲁棒性和表达能力，我们通过合成多个模型的残差来扩展其在多样化设置中的潜力，并实施掩码区域提升策略以克服现有模型因信息泄露导致的不稳定性。凭借上述设计，AnyFit 在高分辨率基准和真实数据上均以显著优势超越所有基线，尤其擅长生成服装拟合良好、具备逼真且细节丰富的图像。此外，AnyFit 在任何图像下实现高保真虚拟试穿，为时尚界未来研究开辟了新道路。
引用
@article{arxiv.2405.18172,
title = {AnyFit: Controllable Virtual Try-on for Any Combination of Attire Across Any Scenario},
author = {Yuhan Li and Hao Zhou and Wenxiang Shang and Ran Lin and Xuanhong Chen and Bingbing Ni},
journal= {arXiv preprint arXiv:2405.18172},
year = {2024}
}
备注
Project website: https://colorful-liyu.github.io/anyfit-page/