Diff3R：基于不确定性感知的可微分优化的feed-forward 3D高斯溅射

最近的3D高斯溅射（3DGS）技术呈现出两种主要方向：feed-forward模型在稀疏视图设置下提供快速推理，而per-scene优化则产生高质量渲染但计算成本高昂。为此，我们引入Diff3R，一种新型框架，显式地桥接feed-forward预测与测试时优化。通过将可微分的3DGS优化层直接集成到训练循环中，我们的网络学习如何预测测试时优化的最优初始化，而非传统的零shot结果。为克服通过优化步骤反向传播的计算成本，我们提出了一种通过隐函数定理和针对3DGS优化的可扩展、矩阵-free PCG求解器来计算梯度的方法。此外，我们将数据驱动的不确定性模型集成到优化过程中，通过自适应控制参数在优化期间允许更改的幅度。该方法有效缓解了在受约束区域的过拟合问题，并提高了对输入离群值的鲁棒性。由于我们提出的优化层是 model-agnostic 的，我们展示了它可以无缝集成到现有的feed-forward 3DGS架构中，用于pose-given和pose-free方法，为测试时优化提供了改进。