面向光泽间接光照的神经自由视点重光照
图形学
2023-07-13 v1 计算机视觉与模式识别
摘要
预计算辐射传输(PRT)仍是实时渲染复杂光传输效果(如光泽全局光照)的一种有吸引力的方案。预计算后,我们可以用新环境贴图重光照场景,同时实时改变视点。然而,实用 PRT 方法通常限于低频球谐光照。使用小波的全频技术前景广阔但迄今影响甚微。维度灾难与高得多的数据需求通常将其限制为固定视点重光照或仅用三重积积分的直接光照。本文中,我们展示了一种用于高频间接光照(包括光泽反射)的混合神经-小波 PRT 方案,支持变视点重光照。具体而言,我们力求在 Haar 小波基中表示光传输函数。对于全局光照,我们使用应用于特征场的小型多层感知机(MLP)学习小波传输,该特征场是空间位置与小波索引的函数,反射方向与材质参数作为其他 MLP 输入。我们从场景在不同光照与观测条件下的多幅图像优化/学习特征场(由张量分解紧凑表示)与 MLP 参数。我们展示了涉及视相关反射乃至焦散的具挑战性场景的实时(512 x 512 于 24 FPS,800 x 600 于 13 FPS)预计算渲染。
引用
@article{arxiv.2307.06335,
title = {Neural Free-Viewpoint Relighting for Glossy Indirect Illumination},
author = {Nithin Raghavan and Yan Xiao and Kai-En Lin and Tiancheng Sun and Sai Bi and Zexiang Xu and Tzu-Mao Li and Ravi Ramamoorthi},
journal= {arXiv preprint arXiv:2307.06335},
year = {2023}
}
备注
13 pages, 9 figures, to appear in cgf proceedings of egsr 2023