Neural Marionette：从体视频中无监督学习运动骨架与潜在动力学
计算机视觉与模式识别
2022-02-18 v1 人工智能
摘要
我们提出 Neural Marionette，一种无监督方法，可从动态序列中发现骨架结构，并学习生成与观测运动动力学一致的多样运动。给定任意运动下关节体点云观测的视频流，我们的方法发现未知的低维骨架关系，可有效表示运动。随后利用发现的结构将动态序列的运动先验编码于潜在结构中，该结构可解码为相对关节旋转以表示完整骨架运动。我们的方法无需任何关于底层运动或骨架结构的先验知识，并且我们证明所发现的结构在表示 4D 运动序列方面甚至可与人工标注的真实骨架相媲美。骨架结构嵌入了可能运动空间的通用语义，可为多样场景生成运动。我们验证了所学运动先验可泛化到多模态序列生成、两姿态插值以及向不同骨架结构的运动重定向。
引用
@article{arxiv.2202.08418,
title = {Neural Marionette: Unsupervised Learning of Motion Skeleton and Latent Dynamics from Volumetric Video},
author = {Jinseok Bae and Hojun Jang and Cheol-Hui Min and Hyungun Choi and Young Min Kim},
journal= {arXiv preprint arXiv:2202.08418},
year = {2022}
}
备注
7 pages (main), 10 pages (appendix) and to be appeared in AAAI2022