基于数值与图像引导的由粗到细视线重定向
计算机视觉与模式识别
2020-11-30 v4 机器学习
图像与视频处理
摘要
视线重定向旨在针对给定的人脸图像，依据期望方向（即参考角度）操纵其视线，可应用于许多真实场景，如视频会议或拍摄合照。然而，以往该主题的工作主要存在两个局限：(1) 图像生成质量低；(2) 重定向精度低。本文中，我们提出通过一种新颖的视线重定向框架来缓解这些问题，该框架利用数值与图像两种方向引导，并结合由粗到细的学习策略。具体而言，粗分支学习根据期望视线对输入图像进行空间变换的扭曲。另一方面，细粒度分支由一个带条件残差图像学习的生成器网络和一个多任务判别器组成。该第二分支缩小先前扭曲图像与真实图像之间的差距，并恢复更精细的纹理细节。此外，我们提出数值与图像引导模块（NPG），其使用图像化的视线图描述和数值角度作为额外引导，以进一步提高视线重定向的精度。在基准数据集上的大量实验表明，所提方法在图像质量和重定向精度方面均优于 SOTA 方法。代码见 https://github.com/jingjingchen777/CFGR
引用
@article{arxiv.2004.03064,
title = {Coarse-to-Fine Gaze Redirection with Numerical and Pictorial Guidance},
author = {Jingjing Chen and Jichao Zhang and Enver Sangineto and Jiayuan Fan and Tao Chen and Nicu Sebe},
journal= {arXiv preprint arXiv:2004.03064},
year = {2020}
}
备注
12 pages, accepted by WACV 2021