面向事件视觉的时空特征学习
计算机视觉与模式识别
2019-03-19 v1
摘要
与传统基于帧的传感器不同，基于事件的视觉传感器以高时间分辨率通过脉冲输出信息。通过仅编码像素强度的变化，它们展示了一种低功耗、低延迟的视觉信息感知方式。为将此类信息用于物体识别与跟踪等更高层感知任务，一个必要的简化步骤是特征的提取与学习。理想的特征描述子必须对(i)局部变换与(ii)局部事件模式重现相关的变化具有鲁棒性。为此，我们提出了一种基于慢特征分析(SFA)的新颖时空特征表示学习算法。利用SFA，学习到对局部视觉变换鲁棒的平滑变化线性投影。为判断特征是否能学会对多种视觉变换保持不变，采用特征点跟踪任务进行评估。跨两个数据集的大量实验证明了该时空特征学习器对特征点平移、缩放和旋转变换的适应性。更重要的是，我们发现所得特征表示能够利用此类基于事件的相机的高时间分辨率生成更好的特征轨迹。
引用
@article{arxiv.1903.06923,
title = {Spatiotemporal Feature Learning for Event-Based Vision},
author = {Rohan Ghosh and Anupam Gupta and Siyi Tang and Alcimar Soares and Nitish Thakor},
journal= {arXiv preprint arXiv:1903.06923},
year = {2019}
}
备注
Submitted to IEEE Transactions in Neural Networks and Learning Systems