3ET：基于变化卷积LSTM网络的高效事件驱动眼动追踪
计算机视觉与模式识别
2024-01-22 v1 人工智能
机器学习
摘要
本文提出一种稀疏的基于变化卷积长短期记忆（CB-ConvLSTM）模型用于事件驱动眼动追踪，这是 AR/VR 头显等下一代可穿戴医疗健康技术的关键。我们利用受视网膜启发的事件相机相对于传统基于帧的相机的优势，即其低延迟响应与稀疏输出事件流。我们的 CB-ConvLSTM 架构高效地从事件流中提取时空特征以进行瞳孔追踪，优于常规 CNN 结构。利用增强激活稀疏性的增量编码循环路径，CB-ConvLSTM 在 \texttt{v2e} 生成的标注瞳孔事件数据集上测试时，在不损失精度的情况下将算术运算减少约 4.7。这一效率提升使其非常适用于资源受限设备中的实时眼动追踪。项目代码与数据集已开源：\url{https://github.com/qinche106/cb-convlstm-eyetracking}。
引用
@article{arxiv.2308.11771,
title = {3ET: Efficient Event-based Eye Tracking using a Change-Based ConvLSTM Network},
author = {Qinyu Chen and Zuowen Wang and Shih-Chii Liu and Chang Gao},
journal= {arXiv preprint arXiv:2308.11771},
year = {2024}
}
备注
To be published at the 2023 IEEE Biomedical Circuits and Systems (BioCAS) Conference