MoCaNet：基于规范化网络的自然场景运动重定向
计算机视觉与模式识别
2021-12-22 v2
摘要
我们提出一种新颖框架，将 3D 运动重定向任务从受控环境拓展至自然场景。具体而言，我们的方法能够将单目 2D 视频中角色的身体运动重定向至 3D 角色，而无需使用任何动作捕捉系统或 3D 重建流程。其设计可利用海量在线视频进行无监督训练，无需 3D 标注或运动-身体配对信息。所提方法建立在两种新颖的规范化操作之上，即结构规范化与视角规范化。通过规范化操作及导出的正则化进行训练，我们的方法学习将骨架序列分解为三个独立的语义子空间，即运动、结构与视角。这种解耦表示实现了从 2D 到 3D 的高精度运动重定向。我们的方法在具有大幅度身体差异与挑战性动作的运动迁移基准上取得了优越性能。值得注意的是，规范化后的骨架序列可作为人类运动的一种解耦且可解释的表示，有益于动作分析与运动检索。
引用
@article{arxiv.2112.10082,
title = {MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks},
author = {Wentao Zhu and Zhuoqian Yang and Ziang Di and Wayne Wu and Yizhou Wang and Chen Change Loy},
journal= {arXiv preprint arXiv:2112.10082},
year = {2021}
}
备注
Accepted by AAAI 2022. The first two authors contributed equally. Project page: https://yzhq97.github.io/mocanet/