在传统视觉模型上对神经形态跌倒检测与动作识别数据集的基准测试
计算机视觉与模式识别
2022-04-12 v1 人工智能
摘要
基于神经形态视觉的传感器近年来日益流行，其能够以低功耗感知捕获时空事件。这些传感器记录事件或脉冲而非传统相机，有助于保护被记录对象的隐私。这些事件以逐像素亮度变化被捕获，输出数据流以时间、位置和像素强度变化信息编码。本文提出并在神经形态人体动作识别与跌倒检测数据集上对所微调的传统视觉模型进行了基准测试。来自动态视觉传感（Dynamic Vision Sensing）相机的时空事件流被编码为标准序列图像帧。这些视频帧被用于基准测试传统的基于深度学习的架构。在该提出的方法中，我们为这一动态视觉传感（DVS）应用微调了最先进的视觉模型，并将这些模型命名为 DVS-R2+1D、DVS-CSN、DVS-C2D、DVS-SlowFast、DVS-X3D 和 DVS-MViT。在比较这些模型的性能时，我们看到当前最基于 MViT 的架构 DVS-MViT 以 0.958 的准确率和 0.958 的 F-1 分数优于所有其他模型。第二佳为 DVS-C2D，准确率 0.916，F-1 分数 0.916。第三和第四分别为 DVS-R2+1D 与 DVS-SlowFast，准确率 0.875 和 0.833，F-1 分数 0.875 和 0.861。DVS-CSN 与 DVS-X3D 是表现最差的模型，准确率 0.708 和 0.625，F1 分数 0.722 和 0.625。
引用
@article{arxiv.2201.12285,
title = {Benchmarking Conventional Vision Models on Neuromorphic Fall Detection and Action Recognition Dataset},
author = {Karthik Sivarama Krishnan and Koushik Sivarama Krishnan},
journal= {arXiv preprint arXiv:2201.12285},
year = {2022}
}
备注
6 Pages, 2 Figures