E$^2$(GO)MOTION：用于第一人称动作识别的运动增强事件流
计算机视觉与模式识别
2022-04-05 v3
摘要
事件相机是新型仿生传感器，以“事件”的形式异步捕捉像素级强度变化。由于其传感机制，事件相机几乎不存在运动模糊，具有极高的时间分辨率，并且比传统基于帧的相机所需功耗和内存显著更少。这些特性使其非常适合可穿戴设备上的第一人称动作识别等现实应用，其中快速的相机运动和有限的功耗对传统视觉传感器构成挑战。然而，迄今为止不断发展的基于事件的视觉领域忽视了事件相机在此类应用中的潜力。在本文中，我们表明事件数据对于第一人称动作识别是一种非常有价值的模态。为此，我们引入了 N-EPIC-Kitchens，这是大规模 EPIC-Kitchens 数据集的首个基于事件相机的扩展。在此背景下，我们提出两种策略：(i) 用传统视频处理架构直接处理事件相机数据（E(GO)），以及 (ii) 利用事件数据提取光流信息（E(GO)MO）。在我们提出的基准上，我们表明事件数据提供了与 RGB 和光流相当的性能，且在部署时无需任何额外的光流计算，并且相对于仅 RGB 信息性能提升高达 4%。
引用
@article{arxiv.2112.03596,
title = {E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition},
author = {Chiara Plizzari and Mirco Planamente and Gabriele Goletto and Marco Cannici and Emanuele Gusso and Matteo Matteucci and Barbara Caputo},
journal= {arXiv preprint arXiv:2112.03596},
year = {2022}
}
备注
To be presented at CVPR2022