面向多模态人体活动识别的置信度驱动梯度调制：一种动态对比双路径学习方法
计算机视觉与模式识别
2025-08-27 v3
摘要
基于传感器的人体活动识别(HAR)是使智能系统能够感知并与其环境交互的核心技术。然而，多模态HAR系统仍然面临关键挑战，例如跨模态特征对齐困难和模态贡献不平衡。为了解决这些问题，我们提出了一种名为动态对比双路径网络(DCDP-HAR)的新框架。该框架包含三个关键组件。首先，采用双路径特征提取架构，其中ResNet和DenseNet分支协同处理多模态传感器数据。其次，引入多阶段对比学习机制，以实现从局部感知到语义抽象的渐进式对齐。第三，我们提出了一种置信度驱动的梯度调制策略，在反向传播过程中动态监控和调整每个模态分支的学习强度，有效缓解了模态竞争。此外，采用基于动量的梯度累积策略以增强训练稳定性。我们进行了消融研究以验证每个组件的有效性，并在四个公开基准数据集上进行了广泛的对比实验。
引用
@article{arxiv.2507.02826,
title = {Confidence-driven Gradient Modulation for Multimodal Human Activity Recognition: A Dynamic Contrastive Dual-Path Learning Approach},
author = {Panpan Ji and Junni Song and Yifan Lu and Hang Xiao and Hanyu Liu and Chao Li},
journal= {arXiv preprint arXiv:2507.02826},
year = {2025}
}