通过自适应生成↔保留图像内容实现照片级真实感虚拟试穿

图像视觉试穿旨在将目标服装图像转移到参考人物上，近年来成为热门话题。先前的方法通常侧重于在将服装图像扭曲至任意人体姿态时保留其特性（如纹理、徽标、刺绣）。然而，当参考人物存在大面积遮挡和人体姿态时，生成照片级真实感试穿图像仍是一大挑战。为解决此问题，我们提出一种新颖的视觉试穿网络，即自适应内容生成与保留网络(ACGPN)。具体而言，ACGPN首先预测参考图像在试穿后会发生改变的语义布局（如长袖衬衫→手臂，手臂→夹克），然后根据预测的语义布局判断其图像内容是需要生成还是保留，从而实现照片级真实感试穿和丰富的服装细节。ACGPN通常包含三大模块。第一，语义布局生成模块利用参考图像的语义分割逐步预测试穿后的期望语义布局。第二，服装扭曲模块根据生成的语义布局扭曲服装图像，其中引入二阶差分约束以在训练期间稳定扭曲过程。第三，用于内容融合的修复模块整合所有信息（如参考图像、语义布局、扭曲后的服装）自适应地生成人体的每个语义部分。与最先进的方法相比，ACGPN能生成具有更佳感知质量和更丰富精细细节的照片级真实感图像。