OccluMix：基于语义引导混合的去遮挡虚拟试衣
计算机视觉与模式识别
2023-01-04 v1 多媒体
摘要
图像虚拟试衣旨在将人物图像上的衣服替换为服装图像（实拍商品图），已引起多媒体与计算机视觉界越来越多的关注。已有方法较好地保留了服装图像的特征，然而遮挡仍是逼真虚拟试衣中的一个顽固问题。本工作中，我们首先对遮挡给出全面分析并将其归为两方面：i) 固有遮挡：原衣物的残影仍存在于试衣图像中；ii) 获得性遮挡：目标衣物扭曲到了不合理的身体部位。基于该深入分析，我们发现遮挡可由一个新颖的语义引导混合模块来模拟，该模块能生成语义特定的遮挡图像，与试衣图像一同用于训练一个去遮挡试衣（DOC-VTON）框架。具体而言，DOC-VTON 首先对试衣人物进行锐化语义解析。在语义引导与姿态先验辅助下，各种复杂纹理以复制粘贴方式有选择地与人体部位混合。随后，生成模块（GM）负责合成最终试衣图像并联合学习去遮挡。与当前最优方法相比，DOC-VTON 通过减弱遮挡效应获得了更好的感知质量。
引用
@article{arxiv.2301.00965,
title = {OccluMix: Towards De-Occlusion Virtual Try-on by Semantically-Guided Mixup},
author = {Zhijing Yang and Junyang Chen and Yukai Shi and Hao Li and Tianshui Chen and Liang Lin},
journal= {arXiv preprint arXiv:2301.00965},
year = {2023}
}
备注
To be published in IEEE T-MM; Code is available at: https://github.com/JyChen9811/DOC-VTON