ObjectSDF++：改进的物体组合式神经隐式曲面
计算机视觉与模式识别
2023-08-21 v2
摘要
近年来，神经隐式曲面重建已成为多视图 3D 重建的热门范式。与传统多视图立体方法不同，基于神经隐式曲面的方法利用神经网络将 3D 场景表示为有符号距离函数（SDF）。然而，它们往往忽视场景内单个物体的重建，这限制了其性能与实际应用。为解决此问题，先前工作 ObjectSDF 引入了物体组合式神经隐式曲面的良好框架，其利用 2D 实例掩码监督单个物体 SDF。本文中，我们提出称为 ObjectSDF++ 的新框架以克服 ObjectSDF 的局限。首先，与性能主要受限于其转换语义场的 ObjectSDF 不同，我们模型的核心组件是一种遮挡感知的物体不透明度渲染公式，直接对物体不透明度进行体渲染并以实例掩码监督。其次，我们为物体区分设计了一种新的正则化项，可有效缓解 ObjectSDF 因缺乏防止碰撞的约束而导致在不可见区域出现意外重建的问题。我们充分的实验表明，新框架不仅产生更优的物体重建结果，还显著提升了场景重建质量。代码与更多资源见 \url{https://qianyiwu.github.io/objectsdf++}。
引用
@article{arxiv.2308.07868,
title = {ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces},
author = {Qianyi Wu and Kaisiyuan Wang and Kejie Li and Jianmin Zheng and Jianfei Cai},
journal= {arXiv preprint arXiv:2308.07868},
year = {2023}
}
备注
ICCV 2023. Project Page: https://qianyiwu.github.io/objectsdf++ Code: https://github.com/QianyiWu/objectsdf_plus