ForeSplat：面向前馈式3D高斯溅射的优化感知预见
计算机视觉与模式识别
2026-05-25 v2
摘要
前馈式3D高斯溅射模型提供快速的单遍复原能力，但由于大规模3D标注数据的稀缺，限制其规模化以匹配单场景优化质量。实际权衡是预测后精炼，其中后处理优化补偿有限容量网络的局限。然而，标准的前馈式3DGS仅针对零步骤渲染误差进行训练，忽略其输出是否构成下游优化器的良好初始化。我们提出ForeSplat，一种优化感知训练框架，使前馈式3DGS模型产生的初始值专为快速有效的精炼而设计。通过将部分场景建模负担卸载给优化器，ForeSplat显著减轻了前馈模型的容量压力，使得即使在紧凑网络下也能实现高质量复原。其核心是MetaGrad——一种轻量级多锚点元梯度训练规则，通过3DGS优化器的高阶微分绕过昂贵计算。MetaGrad展开短的内循环精炼轨迹，采样锚点状态，并将聚合的一阶梯度反向传播到预测头，作为一种替代优化感知信号进行微调。这种微调不增加推理成本，使复原在几次精炼步骤后即可在秒级获得高质量。我们在多样化的网络架构上实现了ForeSplat，包括AnySplat、Pi3X以及一个为边缘部署量身定制的蒸馏变体。在所有测试架构上，ForeSplat训练的初始值在更少的精炼步骤内收敛，并达到比其平凡对应物更高的峰值复原质量。该框架始终弥合了 amortized 预测与单场景优化之间的差距，为轻量级高保真3D复原铺平了实用之路。
引用
@article{arxiv.2605.22020,
title = {ForeSplat: Optimization-Aware Foresight for Feed-Forward 3D Gaussian Splatting},
author = {Yuke Li and Weihang Liu and Cheng Zhang and Yuefeng Zhang and Jiadi Cui and Zixuan Wang and Junran Ding and Haoyu Wu and Yujiao Shi and Jingyi Yu and Xin Lou},
journal= {arXiv preprint arXiv:2605.22020},
year = {2026}
}