基于骨架的微动作识别中的运动引导调制网络
计算机视觉与模式识别
2025-12-01 v4
摘要
微动作（MAs）是社交互动中重要的非语言表达形式，具有人类情感分析的潜在应用。然而，现有方法在微动作识别中常忽视MAs中微妙变化的内在特性，限制了区分微妙变化的准确性。为此，我们提出了一种运动引导调制网络（MMN），隐式地捕获并调制微妙运动线索以增强时空表征学习。具体而言，我们引入运动引导骨架调制模块（MSM），在骨架层面注入运动线索，作为控制信号引导时空表征建模。并行地，我们设计运动引导时序调制模块（MTM），在帧层面融合运动信息，以促进对微动作整体运动模式的建模。最后，我们提出一种运动一致性学习策略，用于聚合多尺度特征中的运动线索以完成微动作分类。实验结果表明，MMN在Micro-Action 52和iMiGUE数据集上实现了骨架-based微动作识别的state-of-the-art性能，凸显了显式建模微妙运动线索的重要性。代码将在https://github.com/momiji-bit/MMN提供。
引用
@article{arxiv.2507.21977,
title = {Motion Matters: Motion-guided Modulation Network for Skeleton-based Micro-Action Recognition},
author = {Jihao Gu and Kun Li and Fei Wang and Yanyan Wei and Zhiliang Wu and Hehe Fan and Meng Wang},
journal= {arXiv preprint arXiv:2507.21977},
year = {2025}
}
备注
Accepted by ACM MM 2025