基于生成对抗网络的照片级真实单目凝视重定向

凝视重定向是针对给定单目眼块图像将凝视方向改变至期望方向的任务。诸如视频会议、电影、游戏以及凝视估计训练数据生成等许多应用都需要重定向凝视，且不扭曲眼睛周围区域的外观，同时生成照片级真实的图像。现有方法缺乏生成感知上可信图像的能力。在本工作中，我们提出一种新方法，通过利用生成对抗训练来合成以目标凝视方向为条件的眼睛图像，以缓解该问题。我们的方法确保合成图像与真实图像的感知相似性与一致性。此外，使用凝视估计损失来精确控制凝视方向。为获得高质量图像，我们将感知损失与循环一致性损失纳入我们的架构。在大量评估中，我们表明所提出的方法在图像质量与重定向精度方面均优于最先进的方法。最后，我们展示生成的图像若用于增广真实训练数据，可为凝视估计任务带来显著改进。