可微分块世界：通过图元渲染实现定性三维分解
计算机视觉与模式识别
2023-12-27 v2
摘要
给定一组场景的已标定图像，我们提出一种通过三维图元生成简单、紧凑且可操作的三维世界表示的方法。许多方法聚焦于恢复高保真三维场景，而我们专注于将场景解析为由一小组带纹理图元构成的中层三维表示。此类表示可解释、易于操控且适用于基于物理的仿真。此外，不同于依赖三维输入数据的现有图元分解方法，我们的方法通过可微分渲染直接作用于图像。具体而言，我们将图元建模为带纹理的超二次曲面网格，并借助图像渲染损失从其参数从头优化。我们强调了为每个图元建模透明度的重要性，这对优化至关重要，且能支持处理可变数量的图元。我们展示了所得带纹理图元能忠实重建输入图像并准确建模可见三维点，同时提供对不可见物体区域的模态外形状补全。我们在DTU的多样场景上将方法与最先进水平比较，并展示了其在BlendedMVS与Nerfstudio真实捕获上的鲁棒性。我们还展示了如何利用结果轻松编辑场景或执行物理仿真。代码与视频结果见 https://www.tmonnier.com/DBW 。
引用
@article{arxiv.2307.05473,
title = {Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives},
author = {Tom Monnier and Jake Austin and Angjoo Kanazawa and Alexei A. Efros and Mathieu Aubry},
journal= {arXiv preprint arXiv:2307.05473},
year = {2023}
}
备注
Project webpage with code and videos: https://www.tmonnier.com/DBW. V2 update includes comparisons based on NeuS, hyperparameter analysis and failure cases