基于可变形注意力流的单阶段虚拟试穿
计算机视觉与模式识别
2022-07-20 v1
摘要
虚拟试穿旨在给定一件商城服装与一张参考人物图像的情况下生成照片级真实的试穿结果。现有方法通常构建多阶段框架分别处理衣物形变与身体融合，或严重依赖可能含噪甚至不准确的基于解析的中间标签。为应对上述挑战，我们提出一种单阶段试穿框架，通过开发新颖的可变形注意力流（DAFlow），将可变形注意力机制应用于多流估计。仅以姿态关键点作为引导，分别为参考人物与服装图像估计自可变形与交叉可变形注意力流。通过采样多个流场，来自不同语义区域的特征级与像素级信息经注意力机制同时提取与融合。这使得衣物形变与身体合成可同时进行，从而以端到端方式得到照片级真实结果。在两个试穿数据集上的大量实验表明，我们提出的方法在定性与定量上均达到 SOTA 性能。此外，在另两个图像编辑任务上的补充实验展示了我们的方法在多视角合成与图像动画方面的通用性。
引用
@article{arxiv.2207.09161,
title = {Single Stage Virtual Try-on via Deformable Attention Flows},
author = {Shuai Bai and Huiling Zhou and Zhikang Li and Chang Zhou and Hongxia Yang},
journal= {arXiv preprint arXiv:2207.09161},
year = {2022}
}
备注
ECCV 2022