基于随机主体对抗学习的外观去偏视线估计
计算机视觉与模式识别
2024-01-26 v1
摘要
近年来，基于外观的视线估计在计算机视觉领域备受关注，利用各种深度学习技术已取得了显著进展。尽管有此进步，大多数方法仍旨在直接从图像中推断视线向量，这导致了对特定人员外观因素的过拟合。在本文中，我们应对这些挑战并提出了一种新框架：随机主体对抗视线学习（Stochastic subject-wise Adversarial gaZE learning, SAZE），该框架训练网络以泛化主体的外观。我们设计了一个外观泛化网络（Face generalization Network, Fgen-Net），利用人脸到视线编码器、人脸身份分类器以及一种提出的对抗损失。该提出的损失泛化了人脸外观因素，使得身份分类器推断出均匀的概率分布。此外，Fgen-Net 通过一种学习机制进行训练，该机制在每一步训练中重新选择主体子集以优化网络，从而避免过拟合。实验结果验证了该方法的鲁棒性，其在 MPIIGaze 和 EyeDiap 数据集上分别取得了 3.89 和 4.42 的最先进（state-of-the-art）性能。此外，我们通过使用生成模型生成的不同风格人脸图像进行进一步实验，证明了其积极的泛化效果。
引用
@article{arxiv.2401.13865,
title = {Appearance Debiased Gaze Estimation via Stochastic Subject-Wise Adversarial Learning},
author = {Suneung Kim and Woo-Jeoung Nam and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2401.13865},
year = {2024}
}