LASSIE:基于稀疏图像集合与三维部件发现的关节化形状学习
计算机视觉与模式识别
2022-07-08 v1
摘要
通过手动创建或使用 3D 扫描工具来创建高质量动物关节化 3D 模型具有挑战性。因此,从 2D 图像重建关节化 3D 物体的技术至关重要且非常有用。在这项工作中,我们提出了一种实际问题设定:仅给定某特定动物物种(例如马)的少量(10-30 张)野外图像来估计动物的 3D 姿态和形状。与依赖预定义模板形状的现有工作不同,我们不假设任何形式的 2D 或 3D 真值标注,也不利用任何多视图或时间信息。此外,每个输入图像集合可包含具有不同姿态、背景、光照和纹理的动物实例。我们的关键见解是,3D 部件相比整体动物具有更简单的形状,并且它们对动物姿态关节化具有鲁棒性。遵循这些见解,我们提出了 LASSIE,一种新颖的优化框架,它以最小用户干预自监督地发现 3D 部件。LASSIE 背后的关键驱动力是使用自监督深度特征强制 2D-3D 部件一致性。在 Pascal-Part 和自行收集的野外动物数据集上的实验表明,与先前方法相比,其 3D 重建以及 2D 和 3D 部件发现均明显更优。项目页面:chhankyao.github.io/lassie/
引用
@article{arxiv.2207.03434,
title = {LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery},
author = {Chun-Han Yao and Wei-Chih Hung and Yuanzhen Li and Michael Rubinstein and Ming-Hsuan Yang and Varun Jampani},
journal= {arXiv preprint arXiv:2207.03434},
year = {2022}
}