Splat2Real：基于 3D 高斯溅写的物理 AI 小视图扩展
计算机视觉与模式识别
2026-03-12 v1
摘要
物理 AI 面临训练与部署之间视角变化的问题，单目 RGB 到 3D 感知的新视角鲁棒性至关重要。我们将 Real2Render2Real 单目深度预训练建模为仿照学习风格的监督：学生深度网络模仿来自场景网格渲染的专家度量深度/可见性，而 3DGS 提供可扩展的新视角观测。我们提出的 Splat2Real 围绕新视角扩展展开：性能取决于添加哪些视角，而非原始视角数量。我们引入 CN-Coverage，一种基于几何收益和外推惩罚的贪心选择视角的覆盖+新颖性课程，外加针对低可靠性教师的质量感知后备方案。在 20 条 TUM RGB-D 序列上进行 step-matched 预算测试（额外渲染视图数 N=0 到 2000，其中 N 个独特视图 ≤500，大预算时进行重复采样），朴素扩展方法不稳定；CN-Coverage 相对于 Robot/Coverage 策略缓解了最坏情况的回退，GOL-Gated CN-Coverage 在中等-大预算下提供最强的稳定性，同时在高新颖性尾部误差方面表现最佳。下游控制代理结果表明，在视角变化下转移安全/进度权衡，Splat2Real 提供了具象化相关性的证据。
引用
@article{arxiv.2603.10638,
title = {Splat2Real: Novel-view Scaling for Physical AI with 3D Gaussian Splatting},
author = {Hansol Lim and Jongseong Brad Choi},
journal= {arXiv preprint arXiv:2603.10638},
year = {2026}
}