Gaze360:野外无约束条件下的物理视线估计
计算机视觉与模式识别
2019-10-23 v1
摘要
理解人们的注视方向是一种信息丰富的社交线索。在本工作中,我们提出Gaze360,一个大规模视线追踪数据集以及用于在无约束图像中进行鲁棒3D视线估计的方法。我们的数据集包含238名受试者,在室內和室外环境中标有3D视线,涵盖广泛的头部姿态和距离。按受试者和多样性而言,它是此类公开可用数据集中规模最大的,这得益于一种简单高效的采集方法。我们提出的3D视线模型扩展了现有模型,以纳入时间信息并直接输出视线不确定性估计。我们通过消融研究展示了模型的好处,并通过跨数据集评估与其他近期视线基准数据集对比显示了其泛化性能。此外,我们提出了一种简单的自监督方法来改进跨数据集域适应。最后,我们展示了我们的模型在超市环境中估计顾客注意力的应用。我们的数据集和模型可在 http://gaze360.csail.mit.edu 获取。
引用
@article{arxiv.1910.10088,
title = {Gaze360: Physically Unconstrained Gaze Estimation in the Wild},
author = {Petr Kellnhofer and Adria Recasens and Simon Stent and Wojciech Matusik and Antonio Torralba},
journal= {arXiv preprint arXiv:1910.10088},
year = {2019}
}
备注
International Conference in Computer Vision, 2019