基于多模态先验的层次化高斯溅射稀疏视角新视角合成中的重要性抽样
计算机视觉与模式识别
2026-03-04 v1
摘要
本文提出一种基于多模态先验的重要性抽样方法，作为层次化三维高斯溅射（3DGS）在稀疏视角新视角合成中的核心机制。我们的抽样器融合了光度渲染残差、语义先验和几何先验等互补线索，产生一种稳健的局部可恢复性估计，直接驱动在何处注入细粒高斯。基于此抽样核心，我们的框架包括（1）一种从粗到细的高斯表示方法，通过稳定的粗层编码全局形状，并在多模态指标指示可恢复细节的区域选择性添加细粒原语；以及（2）一种几何感知的抽样与保留策略，将细化集中于几何关键和复杂区域，同时保护在受约束不足区域中新添加的原语免受过早剪枝。通过优先选择受一致多模态证据支持的区域而非仅依赖原始残差，我们的方法缓解了由过拟合引起的纹理误差，并抑制了因姿态/外观不一致性导致的噪声。在多样化稀疏视角基准测试上进行的实验表明，我们的方法实现了最先进的重建效果，在DTU数据集上实现了最高达+0.3 dB的PSNR提升。
引用
@article{arxiv.2603.02866,
title = {Multimodal-Prior-Guided Importance Sampling for Hierarchical Gaussian Splatting in Sparse-View Novel View Synthesis},
author = {Kaiqiang Xiong and Zhanke Wang and Ronggang Wang},
journal= {arXiv preprint arXiv:2603.02866},
year = {2026}
}