GazeCorrection：基于自监督生成对抗网络的野外自引导眼睛操控
计算机视觉与模式识别
2019-06-04 v1 人工智能
摘要
视线校正旨在通过操控眼睛区域将人物的视线重定向至相机，可视为一种特定的图像再合成问题。视线校正在实际生活中有广泛应用，例如拍摄注视相机的照片。本文提出一种基于修复模型的新方法，从人脸图像中学习以代表校正后视线的新内容填充缺失的眼睛区域。此外，我们的模型不需要带有特定头部姿态与眼睛角度信息标注的训练数据集，因此训练数据易于收集。为保留原始输入中眼睛区域的身份信息，我们提出一种自引导预训练模型来学习角度不变特征。实验表明，我们的模型在从网站收集的野外数据集上取得了极具说服力的视线校正结果，该数据集将于文中详细介绍。代码见 https://github.com/zhangqianhui/GazeCorrection。
引用
@article{arxiv.1906.00805,
title = {GazeCorrection:Self-Guided Eye Manipulation in the wild using Self-Supervised Generative Adversarial Networks},
author = {Jichao Zhang and Meng Sun and Jingjing Chen and Hao Tang and Yan Yan and Xueying Qin and Nicu Sebe},
journal= {arXiv preprint arXiv:1906.00805},
year = {2019}
}