中文

二元不透明度网格:捕捉基于网格的视图合成中的精细几何细节

计算机视觉与模式识别 2024-02-20 v1

摘要

虽然基于表面的视图合成算法因其低计算需求而具有吸引力,但它们往往难以复现薄结构。相比之下,将场景几何建模为体积密度场(例如 NeRF)的更昂贵方法在重建精细几何细节方面表现出色。然而,密度场通常以“模糊”的方式表示几何,这阻碍了表面的精确定位。在本工作中,我们修改了密度场以鼓励其收敛于表面,同时不损害其重建薄结构的能力。首先,我们采用离散不透明度网格表示代替连续密度场,这使得不透明度值能够在表面处从零到一发生不连续跃变。其次,我们通过为每个像素投射多条光线来进行抗锯齿处理,从而能够在不使用半透明体素的情况下建模遮挡边界和亚像素结构。第三,我们最小化不透明度值的二元熵,通过鼓励不透明度值在训练结束时二值化,促进了表面几何的提取。最后,我们开发了一种基于融合的网格化策略,随后进行网格简化和外观模型拟合。我们的模型生成的紧凑网格可以在移动设备上实时渲染,并且与现有的基于网格的方法相比,实现了显著更高的视图合成质量。

关键词

引用

@article{arxiv.2402.12377,
  title  = {Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis},
  author = {Christian Reiser and Stephan Garbin and Pratul P. Srinivasan and Dor Verbin and Richard Szeliski and Ben Mildenhall and Jonathan T. Barron and Peter Hedman and Andreas Geiger},
  journal= {arXiv preprint arXiv:2402.12377},
  year   = {2024}
}

备注

Project page at https://binary-opacity-grid.github.io