一种用于 gaze 估计的微分方法
计算机视觉与模式识别
2020-02-07 v3
摘要
非侵入式 gaze 估计方法通常直接从单张人脸或眼睛图像回归 gaze 方向。然而,由于个体间眼形与眼内结构的重要差异,通用模型获得的精度有限,其输出通常表现出高方差以及依赖于受试者的偏置。因此,提高精度通常通过校准实现,使受试者的 gaze 预测映射至其实际 gaze。本文中,我们引入一种新颖的图像微分方法用于 gaze 估计。我们提出直接训练一个微分卷积神经网络,以预测同一受试者两张眼睛输入图像之间的 gaze 差异。然后,给定一组受试者特定的校准图像,我们可以利用推断出的差异来预测新颖眼睛样本的 gaze 方向。其假设是,通过允许两张眼睛图像之间的比较,通常困扰单图像预测方法的干扰因素(对齐、眼睑闭合、光照扰动)可大幅减少,从而总体上实现更好的预测。在3个公开数据集上的实验验证了我们的方法,其持续优于 SOTA 方法,即使仅使用一个校准样本或当后者的方法后接受试者特定 gaze 自适应时亦然。
引用
@article{arxiv.1904.09459,
title = {A Differential Approach for Gaze Estimation},
author = {Gang Liu and Yu Yu and Kenneth A. Funes Mora and Jean-Marc Odobez},
journal= {arXiv preprint arXiv:1904.09459},
year = {2020}
}
备注
Extension to our paper A differential approach for gaze estimation with calibration (BMVC 2018) Submitted to PAMI on Aug. 7th, 2018 Accepted by PAMI short on Dec. 2019, in IEEE Transactions on Pattern Analysis and Machine Intelligence