Hybrelighter：融合深度各向异性扩散与场景重建，实现混合现实中设备端实时重光照
图形学
2025-08-22 v1
摘要
混合现实场景重光照，即光照条件的虚拟变化与物理对象进行逼真交互，产生真实的照明和阴影，可用于多种应用。例如，在房地产领域，可用于可视化房间在一天中不同时段的效果以及放置虚拟灯具。现有的基于深度学习的重光照技术通常超出了当前混合现实设备的实时性能能力。另一方面，场景理解方法，如设备端场景重建，常因扫描限制而产生不准确的结果，进而影响重光照质量。最后，更简单的基于二维图像滤波器的方法无法表现复杂的几何形状和阴影。我们引入了一种新方法，将图像分割与基于基本场景理解上的各向异性扩散光照传播以及基于滤波器的技术的计算简便性相结合。我们的方法纠正了设备端扫描的不准确性，在边缘设备上实时提供视觉上吸引人且准确的重光照效果，速度高达100帧每秒。我们展示了我们的方法与行业标准的直接对比，并在前述房地产示例中实际演示了我们的方法。
引用
@article{arxiv.2508.14930,
title = {Hybrelighter: Combining Deep Anisotropic Diffusion and Scene Reconstruction for On-device Real-time Relighting in Mixed Reality},
author = {Hanwen Zhao and John Akers and Baback Elmieh and Ira Kemelmacher-Shlizerman},
journal= {arXiv preprint arXiv:2508.14930},
year = {2025}
}