层次结构神经骨骼:用于从随意视频重建可动画对象的框架
计算机视觉与模式识别
2024-08-02 v1
摘要
我们提出了一种新框架,用于创建和轻松操控任意对象的3D模型,这些模型通过随意捕获的视频制作而来。我们的核心要素是一种新颖的层次变形模型,它捕捉具有树状骨骼结构的对象运动。我们的层次系统基于粒度分解运动,并在不利用任何先验结构知识的情况下揭示各部件之间的相关性。我们进一步提出要规范骨骼位置,以便它们位于运动的基座、部件的中心,充分覆盖相关部件的表面。通过我们的骨骼占用函数实现,该函数识别给定3D点是否位于骨骼内部。将上述组件耦合在一起,我们的框架提供了几个明显的优势:(1)用户可以从随意视频中获得改进质量的任意对象可动画3D模型,(2)用户可以通过最小成本直观地操控3D模型,(3)用户可以根据需要交互式添加或删除控制点。实验结果表明,我们的框架在重建质量、可解释性和更易操控方面均表现出色。我们的代码已公开:https://github.com/subin6/HSNB。
引用
@article{arxiv.2408.00351,
title = {Hierarchically Structured Neural Bones for Reconstructing Animatable Objects from Casual Videos},
author = {Subin Jeon and In Cho and Minsu Kim and Woong Oh Cho and Seon Joo Kim},
journal= {arXiv preprint arXiv:2408.00351},
year = {2024}
}
备注
ECCV 2024 accepted