基于IMU的三谱融合用于人体活动识别
人工智能
2026-05-12 v1 计算机视觉与模式识别
人机交互
摘要
基于传感器的人体活动识别（HAR）主要使用惯性测量单元（IMU）的姿态、运动和上下文数据来识别日常活动。尽管学习方法取得了进展，但由于异构传感器数据融合和建立长期上下文关联的复杂性，仍面临从时序角度进行信息融合的挑战。本文提出一种专为HAR设计的新型三谱融合框架。首先，我们开发了用于噪声抑制的自适应互补滤波技术，并将每个IMU的传感器组织为姿态和运动模式节点。鉴于IMU节点形成动态异构图，我们随后在图傅里叶域内应用自适应滤波，以合并同构和异构节点信息。此外，实现了自适应小波频率选择，以抑制上下文冗余并缩短特征长度。这一方法增强了基于时间戳的图聚合和长期上下文关联。我们的框架在傅里叶、图傅里叶和小波域上实现自适应滤波，实现了有效的多传感器融合和上下文关联。在十个基准数据集上的大量实验表明，我们框架的优越性能。项目页面：https://github.com/crocodilegogogo/TSF-TPAMI2026。
引用
@article{arxiv.2605.02743,
title = {Triple Spectral Fusion for Sensor-based Human Activity Recognition},
author = {Ye Zhang and Longguang Wang and Qing Gao and Chaocan Xiang and Mohammed Bennamoun and Yulan Guo},
journal= {arXiv preprint arXiv:2605.02743},
year = {2026}
}