基于局部-全局蒸馏建模状态转移的事件-帧视线追踪
计算机视觉与模式识别
2024-07-01 v2
摘要
本文解决了同时使用事件和帧数据进行被动视线估计的问题。考虑到固有的不同生理结构，纯粹基于给定状态准确估计视线是困难的。因此，我们将视线估计重新表述为对从当前状态到若干先前注册锚状态的转移状态的量化。具体而言，我们提出了一种基于两阶段学习的视线估计框架，将整个视线估计过程划分为包含锚状态选择和最终视线定位的由粗到细的方法。此外，为了提高泛化能力，我们没有直接学习大型的视线估计网络，而是将一组局部专家与学生网络对齐，其中引入了一种新颖的去噪蒸馏算法，利用去噪扩散技术迭代地去除事件数据中的固有噪声。大量实验证明了所提方法的有效性，其以 15 的巨大优势超越了 SOTA 方法。代码将公开于 https://github.com/jdjdli/Denoise_distill_EF_gazetracker。
引用
@article{arxiv.2404.00548,
title = {Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking},
author = {Jiading Li and Zhiyu Zhu and Jinhui Hou and Junhui Hou and Jinjian Wu},
journal= {arXiv preprint arXiv:2404.00548},
year = {2024}
}