面向无绑定 stylized 3D 角色的零样本姿态迁移
计算机视觉与模式识别
2023-06-02 v1
摘要
将参考虚拟人的姿态迁移到各种形状的 stylized 3D 角色是计算机图形学中的基本任务。现有方法要么要求 stylized 角色被绑定骨架，要么在训练时使用所需姿态下的 stylized 角色作为真值。我们提出一种零样本方法，仅需要在训练时使用广泛可用的形变非 stylized 虚拟人，并在推理时形变形状差异显著的 stylized 角色。经典方法通过在三角形级别形变网格实现强泛化，但这需要带标注的对应关系。我们利用局部形变的能力，但不需要显式对应标注。我们引入一个半监督形状理解模块以在测试时绕过对显式对应关系的需要，以及一个隐式姿态形变模块将单个表面点形变为匹配目标姿态。此外，为鼓励 stylized 角色的真实且准确的形变，我们引入一种高效的基于体素的测试时训练过程。由于它不需要绑定骨架，也不需要在训练时使用形变后的 stylized 角色，我们的模型泛化到标注稀缺的类别，如 stylized 四足动物。大量实验证明了所提方法相较于以可比或更多监督训练的先进方法的有效性。我们的项目页面位于 https://jiashunwang.github.io/ZPT
引用
@article{arxiv.2306.00200,
title = {Zero-shot Pose Transfer for Unrigged Stylized 3D Characters},
author = {Jiashun Wang and Xueting Li and Sifei Liu and Shalini De Mello and Orazio Gallo and Xiaolong Wang and Jan Kautz},
journal= {arXiv preprint arXiv:2306.00200},
year = {2023}
}
备注
CVPR 2023