DarkShake-DVS：基于事件摄像头的人类动作识别在低光和摇晃相机条件下
计算机视觉与模式识别
2026-05-21 v1
摘要
人类动作识别 (HAR) 是计算机视觉中的基础任务，具有多样化的实际应用场景。实际部署常常涉及低光环境和不受约束的 6 自由度摄像机运动，这些条件会降低视觉质量、破坏时间一致性，并削弱现有方法的可靠性。事件摄像机具有高低光灵敏度和微秒级时间分辨率，搭配惯性测量单元 (IMU)，为解决这一问题提供了前景。然而，当前研究面临两个关键挑战：缺乏整合低光条件、6 自由度运动和同步 IMU 数据的基准数据集；以及缺乏有效的运动补偿技术。为此，我们提出了事件-IMU 稳定化人类动作识别 (EIS-HAR)，包含两个模块。第一个是 EIS 模块，通过非线性视觉变形函数减少运动模糊，以重建运动补偿后的输入。第二个是具有四阶段混合架构的 HAR 模块，用于高效提取时空特征以实现准确动作识别。为缓解数据稀缺问题，我们引入 DarkShake-DVS，首个包含 18,041 个真实世界剪辑的大规模基于事件的人类动作识别基准数据集，这些剪辑在低光和强烈 6 自由度运动下拍摄，并附带同步 IMU 数据。在三个数据集上的大量实验表明，EIS-HAR 在所有最先进的方法中均表现出一致的优势。
引用
@article{arxiv.2605.20680,
title = {DarkShake-DVS: Event-based Human Action Recognition under Low-light andShaking Camera Conditions},
author = {Jiaqi Chen and Qinfu Xu and Liyuan Pan},
journal= {arXiv preprint arXiv:2605.20680},
year = {2026}
}
备注
8pages,7 figures