TLControl：用于人体运动合成的运动轨迹与语言控制
计算机视觉与模式识别
2024-07-25 v4 图形学
摘要
可控人体运动合成对于 AR/VR、游戏和具身 AI 等应用至关重要。现有方法通常仅关注语言或完整轨迹控制之一，缺乏合成与用户指定轨迹对齐的运动的精确性，尤其是多关节控制。为解决这些问题，我们提出 TLControl，一种新颖的真实感人体运动合成方法，通过基于神经与基于优化技术的结合，融入低层轨迹与高层语言语义控制。具体而言，我们首先训练一个 VQ-VAE，用于构建按身体部位组织的紧凑且结构良好的潜在运动空间。然后我们提出掩码轨迹 Transformer（MTT）以预测基于语言和轨迹条件的运动分布。训练完成后，我们使用 MTT 在给定用户指定的部分轨迹和文本描述作为条件时采样初始运动预测。最后，我们引入测试时优化来细化这些粗预测以实现精确轨迹控制，其通过允许用户指定各种优化目标而提供灵活性，并确保高运行效率。综合实验表明，TLControl 在轨迹精度和时间效率上显著优于当前最优方法，使其适用于交互式高质量动画生成。
引用
@article{arxiv.2311.17135,
title = {TLControl: Trajectory and Language Control for Human Motion Synthesis},
author = {Weilin Wan and Zhiyang Dou and Taku Komura and Wenping Wang and Dinesh Jayaraman and Lingjie Liu},
journal= {arXiv preprint arXiv:2311.17135},
year = {2024}
}