LIRM: 大型逆渲染模型用于形状、材料和视图相关辐射场的渐进重建

我们提出了大型逆渲染模型(LIRM)，这是一种transformer架构，可在不到一秒的时间内联合重建高质量的形状、材料和具有视图相关效应的辐射场。我们的模型建立在最近实现稀疏视图重建质量的大型重建模型(LRMs)基础上。然而，现有的LRMs在准确重建不可见部分方面困难，无法恢复光滑的外观或生成可被标准图形引擎消费的可置光3D内容。为解决这些限制，我们对构建更实用的多视图3D重建框架做出了三个关键技术贡献。首先，我们引入一种更新模型，允许我们 progressively 添加更多输入视图以改进我们的重建。其次，我们提出了一种六面板神经SDF表示，以更好地恢复详细纹理、几何和材料参数。最后，我们开发了一种新型神经方向嵌入机制来处理视图相关效应。经过在大规模形状和材料数据集上进行有针对性的粗到细训练方案训练，our model achieves compelling results.（我们的模型取得了令人印象深刻的结果。）它在几何和置光准确性方面优于基于优化的稠密视图逆渲染方法，同时推理时间仅为其的一小部分。