IDArb：面向任意数量输入视角与光照的本征分解
计算机视觉与模式识别
2025-04-02 v3
摘要
从图像中捕获几何与材质信息仍然是计算机视觉与图形学中的一项基本挑战。传统的基于优化的方法通常需要数小时的计算时间才能从稠密的多视角输入中重建几何、材质属性和环境光照，但依然难以处理光照与材质之间固有的模糊性。另一方面，基于学习的方法利用现有 3D 物体数据集中丰富的材质先验，但在保持多视角一致性方面面临挑战。在本文中，我们引入了 IDArb，这是一种基于扩散的模型，旨在对变化光照下任意数量的图像进行本征分解。我们的方法实现了对表面法线和材质属性的准确且多视角一致的估计。这得益于一种新颖的跨视角、跨域注意力模块以及一种光照增强、视角自适应的训练策略。此外，我们引入了 ARB-Objaverse，这是一个新数据集，提供了大规模多视角本征数据和多种光照条件下的渲染结果，以支持稳健的训练。大量实验表明，IDArb 在定性和定量上均优于 SOTA 方法。此外，我们的方法促进了多种下游任务，包括单图像重照明、光度立体重建和 3D 重建，突显了其在逼真 3D 内容创作中的广泛应用。
引用
@article{arxiv.2412.12083,
title = {IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations},
author = {Zhibing Li and Tong Wu and Jing Tan and Mengchen Zhang and Jiaqi Wang and Dahua Lin},
journal= {arXiv preprint arXiv:2412.12083},
year = {2025}
}
备注
ICLR 2025. Project Page: https://lizb6626.github.io/IDArb/