Motion Mamba：高效且长序列的运动生成
计算机视觉与模式识别
2024-08-06 v4
摘要
人体运动生成是生成式计算机视觉中的一个重要研究方向，但实现长序列且高效的运动生成仍然具有挑战性。状态空间模型（SSMs）的最新进展，特别是Mamba，凭借其高效的硬件感知设计，在长序列建模方面展现出巨大潜力，这为构建基于它的运动生成模型提供了一个有前景的方向。然而，由于缺乏专门用于建模运动序列的设计架构，将SSMs应用于运动生成面临障碍。为应对这些挑战，我们提出了Motion Mamba，一种简单高效的方法，它代表了首个利用SSMs的运动生成模型。具体来说，我们设计了一个层次化时间Mamba（HTM）模块，通过在一个对称的U-Net架构中集成不同数量的孤立SSM模块来处理时间数据，旨在保持帧间的运动一致性。我们还设计了一个双向空间Mamba（BSM）模块，用于双向处理潜在姿态，以增强时间帧内的精确运动生成。与之前最优的基于扩散的方法相比，我们提出的方法在HumanML3D和KIT-ML数据集上实现了高达50%的FID改进和高达4倍的加速，这展示了其在高质量长序列运动建模和实时人体运动生成方面的强大能力。项目网站：https://steve-zeyu-zhang.github.io/MotionMamba/
引用
@article{arxiv.2403.07487,
title = {Motion Mamba: Efficient and Long Sequence Motion Generation},
author = {Zeyu Zhang and Akide Liu and Ian Reid and Richard Hartley and Bohan Zhuang and Hao Tang},
journal= {arXiv preprint arXiv:2403.07487},
year = {2024}
}
备注
Accepted to ECCV 2024