用于改进视线与头部重定向的自学习变换方法
计算机视觉与模式识别
2020-10-26 v1
摘要
许多计算机视觉任务依赖标注数据。生成建模的快速进展已能合成照片级真实感图像。然而，对生成过程特定方面加以控制以使数据可用于下游任务监督仍具挑战。本文提出一种人脸图像生成模型，能够在细粒度控制眼睛视线与头部朝向角的前提下生成高质量图像。这要求解耦包括视线与头部朝向在内的诸多外观相关因素，以及光照、色调等。我们提出一种新颖架构，以自学习的方式发现、解耦并编码这些额外变化。我们进一步表明，显式解耦任务无关因素可带来更精确的视线与头部朝向建模。一种新颖评估方案显示，我们的方法在重定向精度及视线方向与头部朝向变化间解耦性上均优于现有 SOTA。此外，我们表明在真实世界训练数据有限时，我们的方法可改善半监督跨数据集视线估计这一下游任务。项目主页：https://ait.ethz.ch/projects/2020/STED-gaze/
引用
@article{arxiv.2010.12307,
title = {Self-Learning Transformations for Improving Gaze and Head Redirection},
author = {Yufeng Zheng and Seonwook Park and Xucong Zhang and Shalini De Mello and Otmar Hilliges},
journal= {arXiv preprint arXiv:2010.12307},
year = {2020}
}
备注
Accepted at NeurIPS 2020. Check our supplementary video at: https://ait.ethz.ch/projects/2020/STED-gaze/