无监督高分辨率人像视线校正与动画
计算机视觉与模式识别
2022-08-31 v1 图形学
摘要
本文提出一种针对高分辨率、无约束人像图像的视线校正与动画方法，其可在无需视线角度与头部姿态标注的情况下进行训练。常见的视线校正方法通常需要用精确的视线与头部姿态信息标注训练数据。使用无监督方法解决该问题仍是一个开放问题，尤其是对于野外的高分辨率人脸图像，其不易用视线与头部姿态标签进行标注。为解决此问题，我们首先创建两个新人像数据集：CelebGaze和高分辨率CelebHQGaze。其次，我们将视线校正任务表述为图像修复问题，使用视线校正模块（GCM）与视线动画模块（GAM）来解决。此外，我们提出一种无监督训练策略，即合成即训练（Synthesis-As-Training），以学习眼部区域特征与视线角度之间的相关性。因此，我们可以利用学习到的潜空间通过该空间中的语义插值进行视线动画。此外，为减轻训练与推理阶段的显存与计算开销，我们提出一种与GCM和GAM集成的由粗到细模块（CFM）。大量实验验证了我们的方法在野外低分辨率与高分辨率人脸数据集上针对视线校正与视线动画任务的有效性，并展示了相对于最先进方法的优越性。代码见 https://github.com/zhangqianhui/GazeAnimationV2
引用
@article{arxiv.2207.00256,
title = {Unsupervised High-Resolution Portrait Gaze Correction and Animation},
author = {Jichao Zhang and Jingjing Chen and Hao Tang and Enver Sangineto and Peng Wu and Yan Yan and Nicu Sebe and Wei Wang},
journal= {arXiv preprint arXiv:2207.00256},
year = {2022}
}
备注
Accepted to TIP. arXiv admin note: text overlap with arXiv:2008.03834