ReTR：通过 Transformer 建模渲染以实现可泛化神经表面重建

可泛化神经表面重建技术近年来引起了极大关注。然而，由于所采用的过于简化的体渲染过程，它们遇到了低置信度深度分布和不准确表面推理的局限。在本文中，我们提出重建 Transformer（ReTR），一种利用 transformer 架构重新设计渲染过程、实现复杂渲染交互建模的新框架。它引入了可学习的元光线令牌（meta-ray token），并利用交叉注意力机制来模拟渲染过程与采样点的交互并渲染观测颜色。同时，通过在高维特征空间而非颜色空间中操作，ReTR 减轻了对源视图中投影颜色的敏感性。这些改进带来了高置信度的准确表面评估。我们在多个数据集上展示了方法的有效性，表明我们的方法在重建质量和泛化能力方面优于当前最先进的方法。我们的代码可在 https://github.com/YixunLiang/ReTR 获取。