在极端低光环境下的注视向量估计：基于时序编码的事件驱动神经网络
计算机视觉与模式识别
2024-03-06 v1 人机交互
图像与视频处理
摘要
本文聚焦于注视向量预测这一复杂任务，涉及从人机交互到驾驶员监控等多个应用场景。我们设计的创新方法针对极端低光环境，运用了新颖的时序事件编码方案，以及专用神经网络架构。该时序编码方法无缝整合动态视觉传感器（DVS）事件与灰度导览帧，生成连续编码图像输入至神经网络。该独特方案不仅捕获了活跃年龄组参与者的多样化注视反应，还构建了专为低光环境设计的数据集。编码后的时序帧与我们的网络显示出卓越的空间定位能力和可靠的注视方向预测。实现了100像素精度达100%的惊人成果，表明我们的神经网络能够处理时序连续编码图像，准确预测低光视频中的注视向量，推动了注视预测技术的发展。
引用
@article{arxiv.2403.02909,
title = {Gaze-Vector Estimation in the Dark with Temporally Encoded Event-driven Neural Networks},
author = {Abeer Banerjee and Naval K. Mehta and Shyam S. Prasad and Himanshu and Sumeet Saurav and Sanjay Singh},
journal= {arXiv preprint arXiv:2403.02909},
year = {2024}
}