GUS-IR：基于统一着色高斯泼溅的逆渲染
计算机视觉与模式识别
2024-11-13 v1
摘要
从图像中恢复场景的内在物理属性，通常称为逆渲染问题，一直是计算机视觉和计算机图形学中一个核心且具有挑战性的任务。在本文中，我们提出了GUS-IR，一个旨在解决包含粗糙和光泽表面的复杂场景逆渲染问题的新框架。本文首先分析并比较了两种常用于逆渲染的突出着色技术——前向着色和延迟着色——在处理复杂材质方面的有效性。更重要的是，我们提出了一种统一的着色解决方案，结合了两种技术的优点以实现更好的分解。此外，我们分析了3D高斯泼溅（3DGS）中的法线建模，并在GUS-IR中利用每个粒子的最短轴作为法线，结合深度相关正则化，从而改进了几何表示和形状重建。此外，我们增强了GS-IR提出的基于探针的烘焙方案，以实现更准确的环境光遮蔽建模，更好地处理间接光照。大量实验证明了GUS-IR在实现精确内在分解和几何表示方面的优越性能，支持计算机视觉、图形学和扩展现实中的许多下游任务（如重光照、润饰）。
引用
@article{arxiv.2411.07478,
title = {GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering},
author = {Zhihao Liang and Hongdong Li and Kui Jia and Kailing Guo and Qi Zhang},
journal= {arXiv preprint arXiv:2411.07478},
year = {2024}
}
备注
15 pages, 11 figures