CASA:类别无关的骨架动物重建
计算机视觉与模式识别
2022-11-08 v1 图形学
摘要
从单目视频中恢复动物的骨架形状是一个长期存在的挑战。主流的动物重建方法常采用控制点驱动的动画模型,并单独优化骨骼变换而不考虑骨架拓扑,产生不令人满意的形状与关节结构。相比之下,人类可以通过将其与记忆中已见的关节化角色相关联,轻松推断未知动物的关节结构。受此启发,我们提出 CASA,一种新颖的类别无关骨架动物重建方法,由两个主要组件构成:视频到形状检索过程与神经逆图形框架。在推理时,CASA 首先根据预训练的语言-视觉模型,从 3D 角色资产库中检索一个关节化形状,使得输入视频与渲染图像得分很高。CASA 随后将检索到的角色整合进逆图形框架,并通过优化联合推断形状形变、骨架结构与蒙皮权重。实验验证了 CASA 在形状重建与关节结构方面的有效性。我们进一步证明所得的骨架动画角色可用于重新动画化。
引用
@article{arxiv.2211.03568,
title = {CASA: Category-agnostic Skeletal Animal Reconstruction},
author = {Yuefan Wu and Zeyuan Chen and Shaowei Liu and Zhongzheng Ren and Shenlong Wang},
journal= {arXiv preprint arXiv:2211.03568},
year = {2022}
}
备注
Accepted to NeurIPS 2022