用于基于事件动作识别的时空滤波
计算机视觉与模式识别
2019-03-19 v1
摘要
本文中，我们利用基于事件的相机解决动作识别这一具有挑战性的问题。为识别多数手势动作，通常需对视觉信息进行采样时具备更高的时间精度。动作由运动定义，因此在使用基于事件的相机时，往往无需对整个场景重新采样。神经形态、基于事件的相机通过以时间精确脉冲（10 微秒分辨率）异步时间编码像素强度变化，为视觉信息获取提供了替代方案，使其善于动作识别。然而，基于事件的图像传感器固有地存在其他挑战，如较高的信噪比以及时空稀疏信息。一种选择是将事件数据转换为帧，但这可能导致显著的时间精度损失。本工作中，我们在脉冲事件域引入时空滤波，作为将时空信息输送至卷积神经网络的替代方式。这些滤波器是局部时空权重矩阵，以无监督方式从脉冲事件数据学习得到。我们发现，恰当的时空滤波在基于事件的 DVS Gesture 数据集上显著将 CNN 性能提升至超越 SOTA。在我们新记录的动作识别数据集上，与其他标准生成时空滤波的方法相比，我们的方法显示出显著改进。
引用
@article{arxiv.1903.07067,
title = {Spatiotemporal Filtering for Event-Based Action Recognition},
author = {Rohan Ghosh and Anupam Gupta and Andrei Nakagawa and Alcimar Soares and Nitish Thakor},
journal= {arXiv preprint arXiv:1903.07067},
year = {2019}
}
备注
Submitted to IEEE Transactions in Pattern Analysis and Machine Intelligence