中文

UVAGaze:用于视线估计的无监督1到2视角自适应

计算机视觉与模式识别 2023-12-27 v1

摘要

视线估计已成为近期研究的热点。目前大多数方法依赖单视角面部图像作为输入。然而,这些方法难以处理大的头部角度,导致估计可能不准确。为解决此问题,增加第二视角相机有助于更好地捕捉眼睛外观。然而,现有的多视角方法有两个局限性:1)它们需要多视角标注进行训练,成本高昂;2)更重要的是,在测试时,必须知道多个相机的确切位置并与训练时使用的相机位置匹配,这限制了应用场景。为应对这些挑战,本文提出了一种新颖的1视角到2视角(1-to-2 views)自适应解决方案——无监督1-to-2视角自适应视线估计框架(UVAGaze)。我们的方法将传统的单视角视线估计器适配到灵活放置的双相机上。这里的“灵活”意味着我们将双相机任意放置,无需知道它们的外参,且不受训练数据限制。具体地,UVAGaze构建了一种双视角相互监督自适应策略,利用两个视角之间视线方向的内在一致性。这样,我们的方法不仅可以受益于常见的单视角预训练,还可以实现更先进的双视角视线估计。实验结果表明,单视角估计器在适配到双视角后,可以实现更高的精度,尤其是在跨数据集设置下,精度提升了47.0%。项目页面:https://github.com/MickeyLLG/UVAGaze。

关键词

引用

@article{arxiv.2312.15644,
  title  = {UVAGaze: Unsupervised 1-to-2 Views Adaptation for Gaze Estimation},
  author = {Ruicong Liu and Feng Lu},
  journal= {arXiv preprint arXiv:2312.15644},
  year   = {2023}
}

备注

This paper is accepted by AAAI2024. Code has been released at https://github.com/MickeyLLG/UVAGaze