中文

FreeFix:通过无微调扩散模型提升 3D 高斯溶解

计算机视觉与模式识别 2026-01-29 v1

摘要

神经辐射场和 3D 高斯溶解已推进新视角合成,但仍依赖稠密输入,且在外推视图时常恶化。最近的研究方法利用生成模型,如扩散模型,提供额外的监督,但在泛化性与保真度之间存在权衡:为人工物移除微调扩散模型可提高保真度,但风险过拟合;而无微调方法可保留泛化性,但往往 yield 较低的保真度。我们引入 FreeFix,一种无微调方法,通过使用预训练图像扩散模型来增强外推渲染,这拓展了该权衡的边界。我们提出了交错的 2D-3D 细化策略,表明图像扩散模型可用于一致的细化,而无需依赖高成本的视频扩散模型。此外,我们深入审查了 2D 细化的指导信号,提出了 per-pixel 置信度掩码,以识别不确定区域以实现针对性改进。跨多个数据集的实验表明,FreeFix 在多帧一致性方面取得改进,并实现与或超过基于微调的方法的性能,同时保持强大的泛化能力。

关键词

引用

@article{arxiv.2601.20857,
  title  = {FreeFix: Boosting 3D Gaussian Splatting via Fine-Tuning-Free Diffusion Models},
  author = {Hongyu Zhou and Zisen Shao and Sheng Miao and Pan Wang and Dongfeng Bai and Bingbing Liu and Yiyi Liao},
  journal= {arXiv preprint arXiv:2601.20857},
  year   = {2026}
}

备注

Our project page is at https://xdimlab.github.io/freefix