Micro-DualNet：用于微动作识别的双路径时空网络
计算机视觉与模式识别
2026-04-24 v1 神经元与认知
摘要
微动作是指持续 1-3 秒的细微、局部动作，如擦头或轻敲指尖。此类细微动作在社交交流中至关重要，广泛存在于自然交互中，因而是细粒度视频理解的关键问题，但目前计算机视觉系统对其认识不足。我们识别出根本性挑战：微动作呈现出多样化的时空特征，其中一些由空间配置定义，另一些则通过时序动力学表现。现有方法仅关注单一时空分解，无法适应这种多样性。我们提出双路径网络，通过平行的时空（ST）和时序-时空（TS）路径处理解剖学相关的空间实体。ST 路径先捕获空间配置，再建模时序动力学，TS 路径则逆序处理以优先考虑时序动力学。不同于固定融合，我们引入基于实体的自适应路由机制，使每个身体部位学习其最优处理偏好，并辅以相互动作一致性（MAC）损失，以实现跨路径的一致性。大量实验表明，该方法在 MA-52 数据集上表现竖姿，在 iMiGUE 数据集上取得最先进成绩。我们的工作揭示：针对微动作内在复杂性进行架构适应，是推动细粒度视频理解的关键。
引用
@article{arxiv.2604.21011,
title = {Micro-DualNet: Dual-Path Spatio-Temporal Network for Micro-Action Recognition},
author = {Naga VS Raviteja Chappa and Evangelos Sariyanidi and Lisa Yankowitz and Gokul Nair and Casey J. Zampella and Robert T. Schultz and Birkan Tunç},
journal= {arXiv preprint arXiv:2604.21011},
year = {2026}
}
备注
Accepted to International Conference on Automatic Face and Gesture Recognition (FG)