MultiSensor-Home：用于动作识别的宽范围多模态多视角数据集与基于Transformer的传感器融合

多模态多视角动作识别是计算机视觉领域的快速增长领域，具有 significant potential for applications in surveillance。然而，当前数据集往往未能解决诸如宽范围分布设置、异步数据流以及缺乏帧级注释等现实挑战。此外，现有方法在有效建模视角间关系和增强空间特征学习方面存在困难。本文引入MultiSensor-Home数据集，一个为家庭环境中的综合动作识别设计的新型基准数据集，同时提出基于Transformer的多模态多视角传感器融合方法（MultiTSF）。 proposed MultiSensor-Home数据集特点是由分布式传感器捕获的无剪辑视频，提供高分辨率RGB和音频数据 along with detailed multi-view frame-level action labels. 所提出的MultiTSF方法利用基于Transformer的融合机制来动态建模视角间关系。此外，所提方法集成了人体检测模块以增强空间特征学习，引导模型优先关注具有人类活动的帧，以提高动作识别准确性。在所提MultiSensor-Home数据集和现有MM-Office数据集上的实验表明，MultiTSF在时尚的最先进方法之上。定性和定量结果凸显了所提方法在推动现实世界的多模态多视角动作识别方面的有效性。源代码可在 https://github.com/thanhhff/MultiTSF 获取。