用于人体动作识别与预测的事件时间戳图像编码网络
计算机视觉与模式识别
2021-04-14 v2 机器人学
摘要
事件相机是一种异步、高频、低功耗的视觉传感器，适用于人体动作理解任务。恰当地编码事件数据的时空信息并使用标准计算机视觉工具从中学习至关重要。本工作中，我们提出了一种时间戳图像编码的二维网络，其将带有事件数据极性信息的编码时空图像作为输入并输出动作标签。此外，我们提出了一种未来时间戳图像生成器，用于生成未来动作信息，以在动作未完成时辅助模型预测人体动作。实验结果表明，我们的方法在真实世界动作识别上可达到与基于 RGB 的基准方法同等的性能，并在手势识别上取得了当前最优（SOTA）结果。我们的未来时间戳图像生成模型能有效提升动作未完成时的预测准确率。我们还就运动与表观信息在动作识别与预测中的重要性给出了深入的讨论。
引用
@article{arxiv.2104.05145,
title = {Event-based Timestamp Image Encoding Network for Human Action Recognition and Anticipation},
author = {Chaoxing Huang},
journal= {arXiv preprint arXiv:2104.05145},
year = {2021}
}
备注
This paper has been accepted by IJCNN 2021,the International Joint Conference on Neural Networks. arXiv admin note: substantial text overlap with arXiv:2009.13049