RoSI：从少量关节姿态图像恢复三维形状内部
计算机视觉与模式识别
2023-04-14 v1 图形学
摘要
游戏、VR/AR 以及用于训练几何深度学习算法的大多数三维模型是不完整的，因为它们被建模为表面网格而缺失内部结构。我们提出一种学习框架，仅从多视角和多关节姿态图像利用现有三维模型的外部来恢复其形状内部（RoSI）。给定一组捕捉目标三维物体在不同关节姿态下、可能仅来自少量视角的 RGB 图像，我们的方法推断输入图像中可观测的内部平面。我们的神经架构以类别无关的方式训练，包含运动感知的多视角分析阶段（含姿态、深度和运动估计），随后是图像与三维空间中的内部平面检测，最后是多视角平面融合。此外，我们的方法还能预测部件关节运动，并能在目标三维物体上实现甚至外推所捕捉的运动。我们通过与基线和替代方案的定量与定性比较，以及在未训练物体类别和真实图像输入上的测试来评估方法的泛化能力。
引用
@article{arxiv.2304.06342,
title = {RoSI: Recovering 3D Shape Interiors from Few Articulation Images},
author = {Akshay Gadi Patil and Yiming Qian and Shan Yang and Brian Jackson and Eric Bennett and Hao Zhang},
journal= {arXiv preprint arXiv:2304.06342},
year = {2023}
}