OmniControl：在人体运动生成中任意时刻控制任意关节
计算机视觉与模式识别
2024-04-16 v2 图形学
摘要
我们提出一种名为 OmniControl 的新方法，将灵活的空间控制信号融入基于扩散过程的文本条件人体运动生成模型。与以往只能控制骨盆轨迹的方法不同，OmniControl 仅需一个模型即可在不同时间对不同的关节融入灵活的空间控制信号。具体而言，我们提出解析空间引导，确保生成的运动能紧密贴合输入控制信号。同时引入真实感引导来优化所有关节，以生成更连贯的运动。空间引导与真实感引导二者缺一不可，且对于平衡控制精度与运动真实感高度互补。结合二者，OmniControl 生成的运动真实、连贯且与空间约束一致。在 HumanML3D 和 KIT-ML 数据集上的实验表明，OmniControl 不仅在骨盆控制上显著优于最先进方法，在融入其他关节约束时也展现出良好结果。
引用
@article{arxiv.2310.08580,
title = {OmniControl: Control Any Joint at Any Time for Human Motion Generation},
author = {Yiming Xie and Varun Jampani and Lei Zhong and Deqing Sun and Huaizu Jiang},
journal= {arXiv preprint arXiv:2310.08580},
year = {2024}
}
备注
ICLR 2024. Project page: https://neu-vi.github.io/omnicontrol/