物体组合的神经隐式曲面

Qianyi Wu; Xian Liu; Yuedong Chen; Kejie Li; Chuanxia Zheng; Jianfei Cai; Jianmin Zheng

物体组合的神经隐式曲面

计算机视觉与模式识别 2022-08-02 v2

作者: Qianyi Wu , Xian Liu , Yuedong Chen , Kejie Li , Chuanxia Zheng , Jianfei Cai , Jianmin Zheng

摘要

神经隐式表示已在新视角合成与从多视图图像进行高质量3D重建中展现出有效性。然而，多数方法聚焦于整体场景表示，却忽略了其中的单个物体，从而限制了潜在的下游应用。为学习物体组合的表示，少数工作将2D语义图作为训练线索以把握物体间的差异。但它们忽视了物体几何与实例语义信息之间的强关联，导致对单个实例的建模不准确。本文提出一种新颖框架ObjectSDF，以构建具有高保真3D重建与物体表示能力的物体组合神经隐式表示。观察到常规体渲染流程的模糊性，我们通过组合单个物体的有符号距离函数（SDF）来建模场景，以施加显式的表面约束。区分不同实例的关键在于重新审视单个物体的SDF与语义标签之间的强关联。特别地，我们将语义信息转换为物体SDF的函数，并发展出一种统一且紧凑的场景与物体表示。实验结果表明ObjectSDF框架在表示整体物体组合场景与单个实例方面均具优越性。代码见 https://qianyiwu.github.io/objectsdf/

关键词

神经隐式表示物体组合场景有符号距离函数语义标签 3D重建多视图图像

引用

@article{arxiv.2207.09686,
  title  = {Object-Compositional Neural Implicit Surfaces},
  author = {Qianyi Wu and Xian Liu and Yuedong Chen and Kejie Li and Chuanxia Zheng and Jianfei Cai and Jianmin Zheng},
  journal= {arXiv preprint arXiv:2207.09686},
  year   = {2022}
}

备注

ECCV2022, Project Page: https://qianyiwu.github.io/objectsdf/ Code: https://github.com/QianyiWu/objsdf

物体组合的神经隐式曲面

摘要

关键词

引用

备注

相关论文