由多模态大语言模型获取的视觉先验指导的 3D 烟雾场景重建
计算机视觉与模式识别
2026-04-23 v2
摘要
从烟雾退化的多视角图像重建 3D 场景在困难，因为烟雾引入强烈的散射效应、视角相关的外观变化以及严重的跨视角一致性退化。为解决这些问题，我们提出了一个集成视觉先验与高效 3D 场景建模的框架。我们采用 Nano-Banana-Pro 来增强烟雾退化的图像，并为重建和开发提供更清晰的视觉观察，同时开发 Smoke-GS，一个面向烟雾场景重建和恢复导向的新视角合成的中等感知 3D 高斯溅射框架。Smoke-GS 使用显式的 3D 高斯模型，并引入轻量级的视角相关介质分支来捕捉由烟雾引起的方向依赖外观变化。我们的方法在保持 3D 高斯溅射渲染效率的同时，提高了对烟雾引起的退化的鲁棒性。结果表明，我们的方法在具有挑战性的烟雾环境中能够生成一致且视觉清晰的新视角。
引用
@article{arxiv.2604.05687,
title = {3D Smoke Scene Reconstruction Guided by Vision Priors from Multimodal Large Language Models},
author = {Xinye Zheng and Fei Wang and Yiqi Nie and Kun Li and Junjie Chen and Jiaqi Zhao and Yanyan Wei and Zhiliang Wu},
journal= {arXiv preprint arXiv:2604.05687},
year = {2026}
}