任意虚拟试穿网络：特征保留与身体和服装间的权衡

基于深度学习的虚拟试穿系统最近取得了一些令人鼓舞的进展，但仍存在几个需要解决的重大挑战，例如试穿所有类型的任意服装、跨类别试穿服装以及生成具有少量伪影的图像真实感结果。为了解决这个问题，我们在本文中首先收集了一个包含所有类型服装的新数据集，即上衣、下装和整件服装，每类服装都有多个类别，并包含丰富的服装特征信息，如花纹、标志和其他细节。基于此数据集，我们提出了用于所有类型服装的任意虚拟试穿网络（AVTON），该网络可以通过保留和权衡目标服装与参考人物的特征来合成逼真的试穿图像。我们的方法包括三个模块：1）肢体预测模块，用于通过保留参考人物的特征来预测人体部位。这对于处理跨类别试穿任务（例如长袖 $\leftrightarrow$ 短袖或长裤 $\leftrightarrow$ 裙子等）特别有效，其中可以合理地预测出带有肤色和细节的暴露手臂或腿部；2）改进的几何匹配模块，旨在根据目标人物的几何形状对服装进行变形。我们使用紧支撑径向函数（Wendland 的 $\Psi$-函数）改进了基于 TPS 的变形方法；3）权衡融合模块，用于权衡变形服装和参考人物的特征。该模块基于网络结构的微调对称性，使生成的试穿图像看起来更自然、更逼真。我们进行了广泛的模拟实验，与最先进的虚拟试穿方法相比，我们的方法可以实现更好的性能。