MambaPupil: 基于双向选择性循环模型的事件驱动眼动追踪
计算机视觉与模式识别
2024-05-01 v2
摘要
事件驱动眼动追踪凭借事件相机的高时间分辨率和低冗余性展现出巨大潜力。然而，眼动模式的多样性和突发性，包括眨眼、注视、扫视和平滑追踪，给眼睛定位带来了重大挑战。为了实现稳定的事件驱动眼动追踪系统，本文提出了一种双向长序列建模和时变状态选择机制，以充分利用上下文时间信息来应对眼动的变异性。具体地，提出了MambaPupil网络，它由多层卷积编码器（从事件表示中提取特征）、双向门控循环单元（GRU）和线性时变状态空间模块（LTV-SSM）组成，以从正向和反向时间关系中选择性捕获上下文相关性。此外，使用Bina-rep作为紧凑的事件表示，并提出了定制的数据增强方法Event-Cutout，通过对事件图像应用空间随机掩码来增强模型的鲁棒性。在ThreeET-plus基准上的评估显示了MambaPupil的优越性能，它在CVPR'2024 AIS事件驱动眼动追踪挑战赛中获得了第一名。
引用
@article{arxiv.2404.12083,
title = {MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking},
author = {Zhong Wang and Zengyu Wan and Han Han and Bohao Liao and Yuliang Wu and Wei Zhai and Yang Cao and Zheng-jun Zha},
journal= {arXiv preprint arXiv:2404.12083},
year = {2024}
}
备注
Accepted by CVPR 2024 Workshop (AIS: Vision, Graphics and AI for Streaming), top solution of challenge Event-based Eye Tracking, see https://www.kaggle.com/competitions/event-based-eye-tracking-ais2024