DHECA-SuperGaze：用于无约束注视估计的双头眼跨注意力与超分辨率
计算机视觉与模式识别
2026-03-06 v1
摘要
无约束注视估计是确定主体在不可控环境中指向其视觉注意力的过程。注视估计系统对于驱动注意力监控、考试监督、现代软件中的无障碍功能等众多任务至关重要。然而，这些系统在实际场景中面临挑战，部分原因是狭野图像的分辨率不足，另一部分原因是当前最先进（SOTA）方法中对头眼相互作用的建模不足。本文引入DHECA-SuperGaze，一种基于深度学习的方法，通过超分辨率（SR）和双头眼跨注意力（DHECA）模块推进注视预测。我们的双支路卷积主干处理眼部和多尺度SR头部图像，而提出的DHECA模块通过跨注意力机制实现提取的视觉特征之间的双向特征细化。此外，我们发现了Gaze360等最具多样性和广泛使用的注视估计数据集中的关键标注错误，并对其进行了纠正。对Gaze360和GFIE数据集上的性能评估表明，本文提出的方法在同数据集内性能卓越，静态配置下将角度误差（AE）降低0.48°（Gaze360）和2.95°（GFIE），在时序设置下分别降低0.59°（Gaze360）和3.00°（GFIE），与先前的SOTA方法相比。跨数据集测试显示，在静态和时序设置下，AE分别在Gaze360和GFIE上分别提高了超过1.53°和3.99°，验证了本方法在鲁棒性和泛化性方面的卓越表现。
引用
@article{arxiv.2505.08426,
title = {DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation},
author = {Franko Šikić and Donik Vršnak and Sven Lončarić},
journal= {arXiv preprint arXiv:2505.08426},
year = {2026}
}