InfiniMotion：Mamba 提升 Transformer 中的记忆能力以实现任意长度运动生成
计算机视觉与模式识别
2024-07-16 v1
摘要
文本到运动生成在电影、游戏和机器人等领域具有潜力，但当前方法往往侧重短运动生成，导致难以有效生成长运动序列：（1）当前方法在处理作为单个输入的长运动序列时因计算成本过高而困难；（2）将长运动序列分解为较短片段生成会导致转换不一致，需要插值或填充，但缺乏整个序列的建模。为解决这些挑战，我们提出了 InfiniMotion 方法，在自回归框架内生成任意长度的连续运动序列。我们以生成约 8 万帧持续 1 小时的连续人类运动为亮点，证明了其卓越能力。具体而言，我们引入了带双向 Mamba 记忆的运动记忆 Transformer，增强了 Transformer 的记忆能力，能够在不引发计算资源压力的情况下有效处理长运动序列。值得注意的是，我们的方法在 FID 上实现了 30% 以上的改进，演示长度是前一种方法的 6 倍，展示了在长运动生成方面的重大进展。详情请参见项目网页：https://steve-zeyu-zhang.github.io/InfiniMotion/
引用
@article{arxiv.2407.10061,
title = {InfiniMotion: Mamba Boosts Memory in Transformer for Arbitrary Long Motion Generation},
author = {Zeyu Zhang and Akide Liu and Qi Chen and Feng Chen and Ian Reid and Richard Hartley and Bohan Zhuang and Hao Tang},
journal= {arXiv preprint arXiv:2407.10061},
year = {2024}
}