基于眼区分割与自监督多流学习的视线估计

我们提出了一种新颖的多流网络，用于学习鲁棒的眼部表示以进行视线估计。我们首先使用模拟器创建一个包含详细可见眼球与虹膜的眼区掩码的合成数据集。随后，我们用U-Net类型模型执行眼区分割，之后将其用于为真实世界眼图生成眼区掩码。接下来，我们在真实域中用自监督对比学习预训练一个眼图编码器，以学习泛化眼部表示。最后，该预训练眼编码器与用于可见眼球区域和虹膜的两个额外编码器并行用于我们的多流框架，从真实世界图像中提取显著特征以进行视线估计。我们在EYEDIAP数据集上以两种不同评估设置展示了方法的性能，并取得最先进结果，优于该数据集上所有现有基准。我们还进行了额外实验，以验证自监督网络相对于用于训练的不同数量标注数据的鲁棒性。