MotionScript：用于表达性 3D 人体运动的自然语言描述
机器学习
2023-12-21 v1 机器学习
摘要
我们推出了 MotionScript，这是一个用于生成高度详细的 3D 人体运动自然语言描述的新框架。与依赖宽泛动作标签或通用标题的现有运动数据集不同，MotionScript 提供了细粒度、结构化的描述，捕捉了人体运动的全部复杂性，包括表达性动作（如情绪、风格化行走）以及超越标准动作捕捉数据集的交互。MotionScript 既可作为描述工具，也可作为文本到运动模型的训练资源，从而实现从文本合成高度逼真且多样化的人体运动。通过用 MotionScript 标题增强运动数据集，我们证明了在分布外运动生成方面的显著改进，使得大语言模型（LLMs）能够生成超越现有数据的运动。此外，MotionScript 为动画、虚拟人仿真和机器人技术开辟了新的应用，提供了直观描述与运动合成之间可解释的桥梁。据我们所知，这是首次尝试在不需训练数据的情况下，系统性地将 3D 运动转化为结构化自然语言。
引用
@article{arxiv.2312.12633,
title = {Long-run Behaviour of Multi-fidelity Bayesian Optimisation},
author = {Gbetondji J-S Dovonon and Jakob Zeitler},
journal= {arXiv preprint arXiv:2312.12633},
year = {2023}
}
备注
NeurIPS 2023 Workshop on Adaptive Experimental Design and Active Learning in the Real World