基于 aerial 3D 扫描的复杂立面整体逆渲染
计算机视觉与模式识别
2024-04-09 v2 图形学
摘要
本工作中，我们利用多视角航拍图像，通过神经符号距离场（SDFs）重建立面的几何、光照与材质。无需复杂设备，我们的方法仅以无人机拍摄的简单RGB图像作为输入，即可实现基于物理的、照片级真实的 novel-view 渲染、重光照与编辑。然而，真实世界立面通常具有复杂外观，从带细微细节的漫反射岩石到大面积镜面反射的玻璃窗，难以面面俱到。因此，先前方法能保留几何细节却无法重建光滑玻璃窗，或反之。为应对此挑战，我们引入三种空间与语义自适应优化策略：基于零样本分割技术的语义正则化方法以提升材质一致性；频域感知几何正则化以平衡不同表面的光滑度与细节；以及基于可见性探针的方案以实现大规模室外环境中局部光照的高效建模。此外，我们采集了真实世界立面航拍3D扫描图像集及对应点云用于训练与基准测试。实验表明，在立面整体逆渲染、新视角合成与场景编辑上，我们的方法相较最先进基线具有更优质量。
引用
@article{arxiv.2311.11825,
title = {Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning},
author = {Zixuan Xie and Rengan Xie and Rong Li and Kai Huang and Pengju Qiao and Jingsen Zhu and Xu Yin and Qi Ye and Wei Hua and Yuchi Huo and Hujun Bao},
journal= {arXiv preprint arXiv:2311.11825},
year = {2024}
}