基于运动语义与几何残差感知的蒙皮运动重定向
计算机视觉与模式识别
2023-03-16 v1 图形学
摘要
良好的运动重定向必须合理考量源与目标在骨骼与形状几何层级上的差异。本文提出一种新颖的残差重定向网络（R2ET）结构，依赖两个神经修正模块逐步调整源运动以适配目标骨骼与形状。具体而言，引入骨骼感知模块以保留源运动语义；设计形状感知模块以感知目标角色几何，从而减少穿插与接触缺失。在我们所探索的显式建模运动语义与几何的基于距离的损失的驱动下，这两个模块可学习源运动上的残差运动修正，在单次推理中生成合理的重定向运动而无需后处理。为平衡这两种修正，我们进一步提出平衡门对二者进行线性插值。在公开数据集 Mixamo 上的大量实验表明，我们的 R2ET 取得了最先进（SOTA）性能，并在运动语义保持与穿插及接触缺失衰减之间提供了良好平衡。代码见 https://github.com/Kebii/R2ET。
引用
@article{arxiv.2303.08658,
title = {Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry},
author = {Jiaxu Zhang and Junwu Weng and Di Kang and Fang Zhao and Shaoli Huang and Xuefei Zhe and Linchao Bao and Ying Shan and Jue Wang and Zhigang Tu},
journal= {arXiv preprint arXiv:2303.08658},
year = {2023}
}
备注
CVPR 2023