基于全脸外观的学习通过新视角合成用于3D凝视估计

尽管基于外观的凝视估计技术近期取得了进展，但覆盖目标头部姿态和凝视分布训练数据的需求仍是实际部署中的关键挑战。本工作考察了一种基于单目3D人脸重建合成凝视估计训练数据的新方法。与先前使用多视角重建、照片级真实CG模型或生成神经网络的工作不同，我们的方法可在无任何额外要求的情况下操纵和扩展现有训练数据的头部姿态范围。我们引入投影匹配过程以将重建的3D面部网格与相机坐标系对齐，并合成具有准确凝视标签的面部图像。我们还提出了掩码引导的凝视估计模型和数据增强策略，以利用合成训练数据进一步提高估计精度。使用多个公开数据集的实验表明，我们的方法在具有非重叠凝视分布的挑战性跨数据集设置上显著改善了估计性能。