RTGaze：从单张图像实现实时三维感知注视定向

注视定向方法旨在生成可控眼动的逼真人脸图像。然而，近期方法常在三维一致性、效率或质量方面存在挑战，限制了实际应用。本文提出了 RTGaze，一种实时且高质量的注视定向方法。我们的方法从人脸图像和注视提示中学习注视可控的人脸表征，然后通过神经渲染对该表征进行解码，以实现注视定向。此外，我们从预训练的 3D 人像生成器中蒸馏人脸几何先验，以提升生成质量。我们对 RTGaze 进行了定性和定量评估，证明其在效率、定向精度和图像质量方面均达到最新水平。我们的系统实现了约 0.06 秒/帧的前馈网络，使其比前所未有的 3D 感知方法快了约 800 倍。