MambaTalk：基于选择性状态空间模型的高效整体手势合成
计算机视觉与模式识别
2025-06-17 v6 人机交互
摘要
手势合成是人机交互的一个关键领域，具有广泛的应用前景，涵盖电影、机器人和虚拟现实等多个领域。最近的研究利用扩散模型和注意力机制来提升手势合成效果。然而，由于这些技术的高计算复杂度，实现低延迟的长序列和多样化手势生成仍是一个挑战。我们探索了状态空间模型 (SSM) 的潜力，以解决这一挑战，采用离散运动先验的两阶段建模策略以提升手势质量。基于 Mamba 基础模块，我们引入 MambaTalk，通过多模态集成来增强手势的多样性和节奏感。大量实验表明，我们的方法在性能上与最新模型持平甚至更优。我们的项目已公开发布于 https://kkakkkka.github.io/MambaTalk
引用
@article{arxiv.2403.09471,
title = {MambaTalk: Efficient Holistic Gesture Synthesis with Selective State Space Models},
author = {Zunnan Xu and Yukang Lin and Haonan Han and Sicheng Yang and Ronghui Li and Yachao Zhang and Xiu Li},
journal= {arXiv preprint arXiv:2403.09471},
year = {2025}
}
备注
Accepted to NeurlPS 2024