中文

InterMamba:基于自适应时空 Mamba 的高效人人交互生成

计算机视觉与模式识别 2025-06-04 v1

摘要

由于在理解人类作为社会存在方面的重要作用,人人交互生成在运动合成领域受到了广泛关注。然而,现有方法通常依赖于基于 Transformer 的架构,这些架构经常面临可扩展性和效率方面的挑战。为了解决这些问题,我们提出了一种基于 Mamba 框架的新颖且高效的人人交互生成方法,旨在满足有效捕捉长序列依赖关系的同时提供实时反馈的需求。具体而言,我们引入了一种自适应时空 Mamba 框架,该框架利用两个并行的 SSM 分支以及自适应机制来整合运动序列的空间和时间特征。为了进一步增强模型捕捉个体运动序列内部依赖关系以及不同个体序列之间交互的能力,我们开发了两个关键模块:自适应时空 Mamba 模块和交叉自适应时空 Mamba 模块,从而实现高效的特征学习。大量实验表明,我们的方法在两个交互数据集上取得了 SOTA 结果,兼具出色的质量和效率。与基线方法 InterGen 相比,我们的方法不仅提高了准确性,而且仅需 66M 的最小参数量(仅为 InterGen 的 36%),同时实现了 0.57 秒的平均推理速度(为 InterGen 执行时间的 46%)。

关键词

引用

@article{arxiv.2506.03084,
  title  = {InterMamba: Efficient Human-Human Interaction Generation with Adaptive Spatio-Temporal Mamba},
  author = {Zizhao Wu and Yingying Sun and Yiming Chen and Xiaoling Gu and Ruyu Liu and Jiazhou Chen},
  journal= {arXiv preprint arXiv:2506.03084},
  year   = {2025}
}