ReLi3D：可重绘的多视角3D重建

Jan-Niklas Dihlmann; Mark Boss; Simon Donne; Andreas Engelhardt; Hendrik P. A. Lensch; Varun Jampani

ReLi3D：可重绘的多视角3D重建

计算机视觉与模式识别 2026-03-23 v1 图形学

作者: Jan-Niklas Dihlmann , Mark Boss , Simon Donne , Andreas Engelhardt , Hendrik P. A. Lensch , Varun Jampani

摘要

从图像重建3D资产一直需要为几何重建、材质估计和光照恢复分别构建不同的管道，每条管道都有各自的局限性和计算开销。我们提出了ReLi3D，是首个在不到一秒钟时间内同时重建完整3D几何、局部物理材质以及环境光照的统一端到端管道。我们的关键洞察是，多视角约束可以显著改善材质和光照的解耦，这是单图像方法中固有的难题。我们方法的关键是通过transformer跨条件架构融合多视角输入，随后采用一种新颖的统一双路径预测策略。第一条路径预测对象的结构和外观，第二条路径从图像背景或物体反射中预测环境光照。结合可微Monte Carlo多重重要抽样渲染器，这创造了一个最优的光照解耦训练管道。此外，凭借混合域训练协议，将合成PBR数据集与真实RGB捕获相结合，我们在几何、材质精度和光照质量方面建立了可泛化的结果。通过将之前分离的重建任务统一到单个前向传递中，我们实现了几乎即时生成完整、可重绘3D资产的能力。项目页面：https://reli3d.jdihlmann.com/

关键词

3D重建材质估计光照恢复 transformer 蒙特卡洛渲染

引用

@article{arxiv.2603.19753,
  title  = {ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination},
  author = {Jan-Niklas Dihlmann and Mark Boss and Simon Donne and Andreas Engelhardt and Hendrik P. A. Lensch and Varun Jampani},
  journal= {arXiv preprint arXiv:2603.19753},
  year   = {2026}
}

备注

Project Page: https://reli3d.jdihlmann.com/

ReLi3D：可重绘的多视角3D重建

摘要

关键词

引用

备注

相关论文