通过视线重定向合成改进少样本用户特定视线自适应

作为人类注意力的指示器，视线是一种微妙的行为线索，可用于许多应用。然而，即使对深度神经网络而言，推断三维视线方向也具有挑战性，原因在于缺乏大量数据（视线真值标注昂贵且现有数据集采用不同设置）以及因个体间差异而固有存在的视线偏差。在本工作中，我们解决了仅从少量参考训练样本进行用户特定视线模型自适应的问题。主要且新颖的思路是通过对现有参考样本中的眼睛图像进行视线重定向合成来生成额外训练样本，从而改进视线自适应。在此过程中，我们的贡献有三方面：（i）我们基于合成数据设计视线重定向框架，使我们能够利用对齐的训练样本对来预测精确的逆映射场；（ii）我们提出了一种用于域自适应的自监督方法；（iii）我们利用视线重定向来提升用户特定视线估计的性能。在两个公开数据集上的大量实验证明了我们的视线重定靶与视线估计框架的有效性。