Manta：增强Mamba以实现长小子序列的少样本动作识别
计算机视觉与模式识别
2026-03-25 v7
摘要
在少样本动作识别(FSAR)中，视频的长小子序列能更有效地表达完整动作。然而，主流基于Transformer的方法的高计算复杂度限制了其应用。近期的Mamba在建模长序列方面表现出效率，但直接将Mamba应用于FSAR忽略了局部特征建模与对齐的重要性。此外，同一类内的长小子序列会积累类内方差，这对FSAR性能产生不利影响。为解决这些挑战，我们提出了Matryoshka MAmba和Contrastive LeArning框架(Manta)。首先，Matryoshka Mamba引入多个内部模块来增强局部特征表示，而非直接建模全局特征。外部模块捕获这些局部特征之间的时间线依赖关系以实现隐式时间对齐。其次，设计了一种混合对比学习范式，结合监督和无监督方法，以缓解类内方差积累的负面影响。Matryoshka Mamba和混合对比学习范式在Manta的两个并行分支中运行，增强了Mamba在长小子序列FSAR中的能力。Manta在SSv2、Kinetics、UCF101和HMDB51等著名基准上取得了新的最先进性能。广泛的实证研究证明，Manta从多个角度显著提升了长小子序列的FSAR表现。
引用
@article{arxiv.2412.07481,
title = {Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence},
author = {Wenbo Huang and Jinghui Zhang and Guang Li and Lei Zhang and Shuoyuan Wang and Fang Dong and Jiahui Jin and Takahiro Ogawa and Miki Haseyama},
journal= {arXiv preprint arXiv:2412.07481},
year = {2026}
}
备注
Accepted by AAAI 2025