ReCoSplat：使用渲染-比较的自回归前馈高斯光束
计算机视觉与模式识别
2026-03-11 v1
摘要
在线新视角合成仍然具有挑战性，需要从顺序的、常常未对齐的观察中进行稳健的场景重建。我们提出了 ReCoSplat，一种支持带或不带相机内参的 posed 或 unposed 输入的自回归前馈 Gaussian Splatting 模型。虽然使用相机姿态组装局部高斯光束的做法在尺度上优于标准空间预测，但在训练期间会导致分布不匹配：使用真实姿态可确保稳定性，但在推断时使用预测姿态则造成分布不匹配。为此，我们引入了 Render-and-Compare（ReCo）模块。ReCo 从预测视点渲染当前重建，并与传入观察进行比较，提供稳定的条件信号，以补偿姿态误差。为支持长序列，我们提出了结合早期层截断和块级选择保留的混合 KV 缓存压缩策略，将 100 多帧的 KV 缓存大小缩减超过 90%。ReCoSplat 在各种输入设置下均在内外分布基准测试上实现了最佳性能。代码和预训练模型将发布。我们的项目页面位于 https://freemancheng.com/ReCoSplat。
引用
@article{arxiv.2603.09968,
title = {ReCoSplat: Autoregressive Feed-Forward Gaussian Splatting Using Render-and-Compare},
author = {Freeman Cheng and Botao Ye and Xueting Li and Junqi You and Fangneng Zhan and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2603.09968},
year = {2026}
}