无衣着针式虚拟试穿技术

随着深度学习技术的发展，虚拟试穿技术在电子商务、时尚和娱乐等领域发挥了重要应用价值。最近提出的 Leffa 技术解决了扩散模型中的纹理失真问题，但其底部检测不准确以及现有服装轮廓仍存在于合成结果中。为此，本文提出了 CaP-VTON（Clothing Agnostic Pre-Inpainting Virtual Try-On）。CaP-VTON 集成基于 DressCode 的多类别遮罩和基于 Stable Diffusion 的皮肤填充预处理；特别地，引入了生成皮肤模块，以解决长袖图像转换为短袖或无袖时出现的皮肤恢复问题，引入一种改善全身服装合成自然性和一致性的预处理结构，允许在考虑人体姿势和颜色的前提下实现高质量恢复。结果显示，CaP-VTON 在短袖合成准确率达到 92.5%，比 Leffa 高出 15.4%，在视觉评估中始终能够再现参考服装的风格和形状。这些结构保持模型无关特性，可应用于各种基于扩散的虚拟检查系统；也有助于实现高精度虚拟穿戴的应用，如电子商务、定制搭配和头像创建。