弱监督物理无约束视线估计
计算机视觉与模式识别
2021-05-21 v1
摘要
物理无约束视线估计的一个主要挑战是为野外和室外场景获取带有3D视线标注的训练数据。相比之下，无约束环境下人类交互的视频大量可用，并且可以更轻松地用帧级活动标签进行标注。在这项工作中，我们解决了先前未被探索的来自人类交互视频的弱监督视线估计问题。我们利用当人进行“互相注视”(LAEO)活动时所存在的强视线相关几何约束这一洞察。为了从LAEO标签中获取可行的3D视线监督，我们提出了一种训练算法以及专为该任务设计的若干新颖损失函数。利用来自两个大规模CMU-Panoptic和AVA-LAEO活动数据集的弱监督，我们展示了在(a)半监督视线估计的准确性和(b)在最先进的物理无约束野外Gaze360视线估计基准上的跨域泛化方面的显著提升。我们在 https://github.com/NVlabs/weakly-supervised-gaze 开源了代码。
引用
@article{arxiv.2105.09803,
title = {Weakly-Supervised Physically Unconstrained Gaze Estimation},
author = {Rakshit Kothari and Shalini De Mello and Umar Iqbal and Wonmin Byeon and Seonwook Park and Jan Kautz},
journal= {arXiv preprint arXiv:2105.09803},
year = {2021}
}
备注
CVPR 2021 (Oral)