基于关键点幻觉的虚拟配饰试戴
计算机视觉与模式识别
2023-10-27 v1
摘要
虚拟试戴任务是指将一幅图像中的衣物拟合到另一幅人像图像上。本文关注虚拟配饰试戴，即将配饰（如眼镜、领带）拟合到人脸或人像图像上。与依赖人体轮廓作为引导的衣物试戴不同，配饰试戴将配饰变形至合适的位置与形状，以生成合理的合成图像。先前试戴方法将前景（即配饰）与背景（即人脸或人体）同等对待，我们提出一种面向背景的网络以利用人体与配饰的先验知识。具体而言，我们的方法学习人体先验，并在背景中幻觉出指定前景关键点的目标位置。随后，我们的方法将带有配饰先验的前景信息注入背景 UNet。基于幻觉出的目标位置，计算变形参数以对前景进行变形。此外，该面向背景的网络也可轻松结合辅助人脸/人体语义分割监督以进一步提升性能。在 STRAT 数据集上的实验验证了我们提出方法的有效性。
引用
@article{arxiv.2310.17131,
title = {Virtual Accessory Try-On via Keypoint Hallucination},
author = {Junhong Gou and Bo Zhang and Li Niu and Jianfu Zhang and Jianlou Si and Chen Qian and Liqing Zhang},
journal= {arXiv preprint arXiv:2310.17131},
year = {2023}
}