抖动至关重要:使凝视估计适应新域
计算机视觉与模式识别
2022-10-06 v1
摘要
深度神经网络在基于外观的凝视估计任务上已展现出优越性能。然而,由于人物、光照和背景的差异,将模型应用于新域时性能会急剧下降。本文中,我们在跨域凝视估计中发现了一个有趣的凝视抖动现象,即两张相似图像在目标域中的凝视预测可能严重偏离。这与跨域凝视估计任务密切相关,但令人惊讶的是,此前尚未被注意到。因此,我们创新性地提出利用凝视抖动来分析和优化凝视域适应任务。我们发现高频分量(HFC)是导致抖动的重要因素。基于该发现,我们使用对抗攻击向输入图像添加高频分量,并采用对比学习促使模型在原始数据与扰动数据间获得相似表征,从而减弱 HFC 的影响。我们在四项跨域凝视估计任务上评估了所提方法,实验结果表明其显著减少了凝视抖动并提升了目标域中的凝视估计性能。
引用
@article{arxiv.2210.02082,
title = {Jitter Does Matter: Adapting Gaze Estimation to New Domains},
author = {Ruicong Liu and Yiwei Bao and Mingjie Xu and Haofei Wang and Yunfei Liu and Feng Lu},
journal= {arXiv preprint arXiv:2210.02082},
year = {2022}
}
备注
7 pages, 5 figures