DVGaze:双视角凝视估计

凝视估计方法利用单摄像头从面部外观估计凝视方向。然而,由于单摄像头视角有限,所捕获的面部外观无法提供完整的面部信息,从而复杂化了凝视估计问题。近年来,摄像设备快速更新。双摄像头对用户而言价格可接受,并已集成于许多设备中。这一发展表明,我们可以通过双视角凝视估计进一步提升凝视估计性能。本文提出一种双视角凝视估计网络(DV-Gaze)。DV-Gaze从一对图像中估计双视角凝视方向。我们首先在DV-Gaze中提出双视角交互卷积(DIC)模块。DIC模块在多个特征尺度上的卷积过程中交换双视角信息,沿对极线融合双视角特征,并用融合特征补偿原始特征。我们进一步提出一种双视角transformer,从双视角特征中估计凝视方向。相机位姿被编码以指示transformer中的位置信息。我们还考虑了双视角凝视方向之间的几何关系,并为DV-Gaze提出双视角凝视一致性损失。DV-Gaze在ETH-XGaze与EVE数据集上取得了最先进的性能。我们的实验也证明了双视角凝视估计的潜力。我们在 https://github.com/yihuacheng/DVGaze 发布了代码。