MAIR++：基于隐式灯光表示改进多视角注意力逆渲染
计算机视觉与模式识别
2025-03-07 v2
摘要
本文提出一种场景级逆渲染框架，使用多视角图像将场景分解为几何、SVBRDF和三维空间可变灯光。虽然多视角图像已广泛用于物体级逆渲染，但由于缺乏包含高动态范围多视角图像且具有真实几何、材料和空间可变灯光的数据集，场景级逆渲染主要仅限于单视角图像。为提高场景级逆渲染质量，最近提出了一种名为多视角注意力逆渲染(MAIR)的框架。MAIR通过扩展OpenRooms数据集、设计高效的多视角图像处理管线并分割空间可变灯光实现场景级多视角逆渲染。尽管MAIR取得了令人印象深刻的结果，但其灯光表示固定为球形高斯函数，这限制了其真实渲染图像的能力。此外，MAIR的多视角聚合网络仅关注多视角特征的均值和方差，难以提取丰富特征。为此，本文提出其扩展版本称为MAIR++。MAIR++通过引入隐式灯光表示准确捕捉图像灯光条件并促进真实渲染，同时设计基于方向注意力的多视角聚合网络以推断视角间更复杂的关系。实验结果表明，MAIR++不仅在性能上优于MAIR和基于单视角的方法，还在未见的真实场景上表现出稳健的性能。
引用
@article{arxiv.2408.06707,
title = {MAIR++: Improving Multi-view Attention Inverse Rendering with Implicit Lighting Representation},
author = {JunYong Choi and SeokYeong Lee and Haesol Park and Seung-Won Jung and Ig-Jae Kim and Junghyun Cho},
journal= {arXiv preprint arXiv:2408.06707},
year = {2025}
}
备注
Published in TPAMI. project page : https://bring728.github.io/mairplusplus.project/. arXiv admin note: text overlap with arXiv:2303.12368