基于多模热传导模型的人类活动识别：RGB-Event传感器与基准数据集

人类活动识别（HAR）主要依赖传统RGB摄像头实现高性能活动识别。然而，现实场景中的光照不足和快速运动等挑战因素不可避免地降低了RGB摄像头的性能。为解决这些挑战，受生物启发的事件相机提供了可能的解决方案。本文通过结合RGB和事件摄像头重新思考人类活动识别。首要贡献是提出的大规模多模RGB-Event人类活动识别基准数据集，称为HARDVS 2.0，填补了数据集之间的差距。该数据集包含300个日常真实场景动作类别，总计107,646组配对视频，覆盖各种具有挑战性的场景。受物理启发的热传导模型，我们提出一种 novel 多模热传导操作框架，用于有效的活动识别，称为MMHCO-HAR。具体而言，给定RGB帧和事件流，我们首先使用干涩网络提取特征嵌入。随后设计多模热传导块以融合双特征，其中关键模块是多模热传导操作层。我们通过多模DCT-IDCT层集成RGB和事件嵌入，同时通过FVEs自适应地纳入热导系数。随后，我们基于策略路由策略提出一种自适应融合模块，以实现高性能分类。广泛的实验结果表明，我们的方法表现 consistently良好，验证了其有效性和鲁棒性。该源代码和基准数据集将发布于https://github.com/Event-AHU/HARDVS/tree/HARDVSv2。