从多视图迭代超二次曲面重组三维物体
计算机视觉与模式识别
2023-09-06 v1 人工智能
机器学习
摘要
人类擅长重组新颖物体，即他们能从总体结构到更精细的细节识别未知物体之间的共性，这一能力难以被机器复制。我们提出一个框架ISCO，直接使用三维超二次曲面作为语义部件，从二维视图重组物体，而无需训练使用三维监督的模型。为此，我们优化组成特定物体实例的超二次曲面参数，将其渲染的三维视图与二维图像轮廓进行比较。我们的ISCO框架在重建误差高的地方迭代添加新超二次曲面，先抽象目标物体的粗略区域，再抽象更精细的细节。凭借这一简单的由粗到细的归纳偏置，尽管没有任何语义监督，ISCO仍为相关物体部件提供一致的超二次曲面。由于ISCO不训练任何神经网络，它本质上对分布外物体具有鲁棒性。实验表明，与近期单实例超二次曲面重建方法相比，ISCO提供更一致准确的三维重建，即便来自野外图像也是如此。代码见 https://github.com/ExplainableML/ISCO 。
引用
@article{arxiv.2309.02102,
title = {Iterative Superquadric Recomposition of 3D Objects from Multiple Views},
author = {Stephan Alaniz and Massimiliano Mancini and Zeynep Akata},
journal= {arXiv preprint arXiv:2309.02102},
year = {2023}
}
备注
Accepted at ICCV 2023