FaithFusion：通过像素级信息增益实现重建与生成的和谐
计算机视觉与模式识别
2025-11-27 v1
摘要
在可控驾驶场景重建和 3D 场景生成中，保持几何保真度同时在大尺度视角变换下合成视觉上可信的外观至关重要。然而，几何基于 3DGS 与外观驱动扩散模型之间的有效融合面临内在挑战，因为缺乏像素级、3D 一致的编辑准则常导致过度修复和几何漂移。为此，我们引入由像素级期望信息增益（EIG）驱动的 \textbf{FaithFusion} 框架。EIG 作为一致的时空合成策略发挥作用：它指导扩散以空间先验细化高不确定性区域，同时其像素级加权将编辑蒸馏回 3DGS。结果所得的即插即用系统无需额外先验条件和结构修改。广泛的 Waymo 数据集实验表明，我们的方法在 NTA-IoU、NTL-IoU 和 FID 指标上均达到 SOTA 水平，即使在 6 米车道偏移下仍保持 FID 为 107.47。我们的代码可在 https://github.com/wangyuanbiubiubiu/FaithFusion 查阅。
引用
@article{arxiv.2511.21113,
title = {FaithFusion: Harmonizing Reconstruction and Generation via Pixel-wise Information Gain},
author = {YuAn Wang and Xiaofan Li and Chi Huang and Wenhao Zhang and Hao Li and Bosheng Wang and Xun Sun and Jun Wang},
journal= {arXiv preprint arXiv:2511.21113},
year = {2025}
}
备注
16 pages, 10 figures