单日多物体生成感知：材料与照明
计算机视觉与模式识别
2026-03-20 v1
摘要
我们提出多物体生成感知（MultiGP），这是一种用于从单张图像中对所有辐射成分——反射率、纹理和照明——进行随机抽样的生成式逆渲染方法。我们关键性思想是利用虽然纹理和反射率可能不同，但同一场景中所有物体都受同一照明照亮这一事实。MultiGP利用这一共识，从已知形状的单张图像中生成反射率、纹理和照明的样本。我们的方法基于四项关键技术贡献：一种结合图像空间和角度空间解耦的级联式端到端架构；用于引导扩散收敛到单一一致照明估计的协调引导；应用轴向注意力以促进不同反射率物体之间的"跨干扰"；以及一种用于保留高频纹理细节并确保与估计照明解耦的纹理提取控制网络。实验结果表明，MultiGP有效地利用了多个物体外观在空间和频率特性上的互补性，成功恢复了单个纹理、反射率以及公共照明。
引用
@article{arxiv.2603.19226,
title = {Under One Sun: Multi-Object Generative Perception of Materials and Illumination},
author = {Nobuo Yoshii and Xinran Nicole Han and Ryo Kawahara and Todd Zickler and Ko Nishino},
journal= {arXiv preprint arXiv:2603.19226},
year = {2026}
}