中文

PureGaze:通过净化注视特征实现可泛化注视估计

计算机视觉与模式识别 2021-12-24 v2

摘要

注视估计方法从面部特征中学习眼动注视方向。然而,在面部图像丰富的信中,真正与注视相关的特征仅对应于眼部区域的细微变化,而诸如光照、个人外貌甚至面部表情等其他与注视无关的特征可能以不可预期的方式影响学习。这是现有方法在跨域/跨数据集评估中表现出显著性能下降的主要原因。本文致力于解决注视估计中的跨域问题。与常见的域适应方法不同,我们提出了一种域泛化方法,在不接触目标样本的情况下提升跨域性能。该域泛化通过注视特征净化实现。我们消除光照和身份等与注视无关的因素以提升跨域性能。我们设计了一个即插即用的自对抗框架用于注视特征净化。该框架不仅显著直接提升了我们的基线,也显著直接提升了现有注视估计方法。据我们所知,我们是首个在注视估计中提出域泛化方法的团队。我们的方法不仅在典型注视估计方法中取得了最先进的性能,也在域适应方法中取得了有竞争力的结果。代码发布于 https://github.com/yihuacheng/PureGaze。

关键词

引用

@article{arxiv.2103.13173,
  title  = {PureGaze: Purifying Gaze Feature for Generalizable Gaze Estimation},
  author = {Yihua Cheng and Yiwei Bao and Feng Lu},
  journal= {arXiv preprint arXiv:2103.13173},
  year   = {2021}
}

备注

Paper is accepted by AAAI 2022