面向无约束场景下无监督视线校正与动画生成的双重修复模型

本文研究无约束场景下的无监督视线校正问题，提出了一种无需精确标注视线角度与头部姿态的解决方案。我们构建了一个名为 CebAGaze 的新数据集，其包含域 X 与域 Y 两个域，其中眼睛分别直视相机或看向别处。我们的方法由三个新颖模块组成：视线校正模块（GCM）、视线动画模块（GAM）与预训练自编码器模块（PAM）。具体而言，GCM 与 GAM 分别使用来自域 $X$ 的数据（用于视线校正）与来自域 $Y$ 的数据（用于视线动画）训练一个双重修复网络。此外，在训练 GAM 时提出了一种“合成即训练”（Synthesis-As-Training）方法，以促使从眼部区域编码的特征与角度信息相关联，从而可通过在潜空间中进行插值来实现视线动画。为了进一步保留身份信息（如眼形、虹膜颜色），我们提出了基于自编码器的 PAM，其采用自监督镜像学习，瓶颈特征具有角度不变性，并作为额外输入提供给双重修复模型。大量实验验证了所提方法在无约束场景下视线校正与视线动画的有效性，并表明我们的方法在生成比当前最优基线更具说服力的结果方面具有优越性。我们的代码、预训练模型与补充材料可在 https://github.com/zhangqianhui/GazeAnimation 获取。