通过合成到真实迁移学习实现解剖学眼区隔离的多流注视估计

我们提出了一种新颖的神经流水线 MSGazeNet，它通过多流框架利用眼部解剖信息来学习注视表征。我们提出的解决方案包含两个组件：首先是用于隔离解剖学眼区的网络，其次是用于多流注视估计的网络。眼区隔离由一个 U-Net 风格网络执行，我们使用包含可见眼球和虹膜区域眼部掩码的合成数据集对其进行训练。此阶段使用的合成数据集通过 UnityEyes 模拟器获取，包含 80,000 张眼部图像。训练完成后，眼区隔离网络被迁移到真实域，为真实世界眼部图像生成掩码。为成功实现迁移，我们在训练过程中利用域随机化，借助模拟伪影的增强手段，使合成图像受益于更大的方差。生成的眼部区域掩码与原始眼部图像随后一起作为多流输入，馈入我们的注视估计网络，该网络由宽残差块构成。来自这些编码器的输出嵌入在通道维度上进行融合，然后输入注视回归层。我们在三个注视估计数据集上评估了我们的框架，并取得了强劲的性能。我们的方法在两个数据集上分别以 7.57% 和 1.85% 的优势超越了现有最佳水平，并在另一个数据集上获得了有竞争力的结果。我们还研究了方法对数据噪声的鲁棒性，并证明我们的模型对噪声数据不太敏感。最后，我们进行了包括消融研究在内的多种实验，以评估解决方案中不同组件和设计选择的贡献。