学习注视感知的组成式生成对抗网络

注视标注的人脸数据对训练深度神经网络 (DNN) 进行注视估计至关重要。然而，获取这些数据需要大量人力且需要专业设备，因为准确标注受试者的注视方向具有挑战性。本文提出了一个生成框架，通过利用标记和非标记数据源的优势来创建带注视标注的数据。我们提出了注视感知的组成式生成对抗网络 (Gaze-aware Compositional GAN)，该网络从有限的标记数据集中学习生成带注视标注的人脸图像。然后我们将该模型迁移到未标记的数据域，以利用其提供的多样性。实验表明，我们的方法在 ETH-XGaze 数据集上有效地生成同域图像增强，在 CelebAMask-HQ 数据集域间增强中为注视估计 DNN 训练提供了跨域增强。我们还展示了本工作的其他应用，包括人脸图像编辑和注视重定向。