MixLight：融合球谐函数与高斯模型的优势
计算机视觉与模式识别
2024-04-22 v1 人工智能
图形学
摘要
准确估计场景光照对于混合现实等应用至关重要。现有工作通过生成光照贴图或回归光照参数来估计光照。然而，生成光照贴图的方法泛化性能较差，而球谐函数（Spherical Harmonic, SH）和球面高斯（Spherical Gaussian, SG）等参数模型在捕捉高频或低频成分方面存在不足。本文提出了 MixLight，这是一种联合模型，利用 SH 和 SG 的互补特性来实现更完整的光照表示，其中使用 SH 和 SG 分别捕捉低频环境光和高频光源。此外，设计了一个特殊的球面光源 sparsemax（SLSparsemax）模块，该模块参考了球面光源之间的位置和亮度关系以提高其稀疏性，这一点意义重大但被以往工作所忽略。大量实验表明，MixLight 在多项指标上超越了现有最先进（SOTA）方法。此外，在 Web Dataset 上的实验也表明，MixLight 作为一种参数化方法，比非参数化方法具有更好的泛化性能。
引用
@article{arxiv.2404.12768,
title = {MixLight: Borrowing the Best of both Spherical Harmonics and Gaussian Models},
author = {Xinlong Ji and Fangneng Zhan and Shijian Lu and Shi-Sheng Huang and Hua Huang},
journal= {arXiv preprint arXiv:2404.12768},
year = {2024}
}