LatentGaze：通过凝视感知解析隐码操作实现跨域凝视估计
计算机视觉与模式识别
2022-09-22 v1
摘要
尽管近期凝视估计方法高度重视从人脸或眼部图像中注意力式提取凝视相关特征，但如何定义包含凝视相关成分的特征一直模糊不清。这种模糊性使模型不仅学到凝视相关特征，也学到无关特征。尤其对于跨数据集性能而言，这是致命的。为克服这一挑战性问题，我们提出一种凝视感知解析操作方法，基于具有生成对抗网络反演解耦特性的数据驱动方法，在隐码中有选择地利用凝视相关特征。此外，通过利用基于GAN的编码器-生成器过程，我们将目标域输入图像转换为源域图像，而凝视估计器对该源域图像是充分感知的。另外，我们在编码器中提出凝视失真损失以防止凝视信息失真。实验结果表明，我们的方法在跨域凝视估计任务中达到了最先进的凝视估计精度。代码见 https://github.com/leeisack/LatentGaze/。
关键词
引用
@article{arxiv.2209.10171,
title = {LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic Latent Code Manipulation},
author = {Isack Lee and Jun-Seok Yun and Hee Hyeon Kim and Youngju Na and Seok Bong Yoo},
journal= {arXiv preprint arXiv:2209.10171},
year = {2022}
}