DirectFisheye-GS：通过跨视图联合优化实现高斯溅射中的原生鱼眼输入
计算机视觉与模式识别
2026-05-27 v2
摘要
3D高斯溅射（3DGS）实现了从日常图像中进行高效的三维场景重建，支持实时高保真渲染，极大推动了VR/AR应用的发展。鱼眼相机凭借其更宽的视场角（FOV），有望从更少的输入中实现高质量重建，近期受到广泛关注。然而，由于3DGS依赖光栅化，大多数后续涉及鱼眼相机输入的工作在训练前先进行去畸变处理，这引入了两个问题：1）图像边缘的黑边导致信息丢失，抵消了鱼眼相机的大视场优势；2）去畸变的拉伸与插值重采样将每个像素的值扩散到更大的区域，降低了细节密度——导致3DGS在这些低频区域过拟合，产生模糊和浮动伪影。在本工作中，我们将鱼眼相机模型集成到原始3DGS框架中，使原生鱼眼图像输入训练成为预处理。尽管建模正确，我们仍观察到重建场景在图像边缘处存在浮动伪影：畸变在边缘处增强，而3DGS原有的逐迭代随机选视优化忽略了高斯元的跨视图相关性，导致极端形状（如过大或拉长），从而降低重建质量。为解决这一问题，我们引入了一种特征重叠驱动的跨视图联合优化策略，在视图之间建立一致的几何和光度约束——该技术同样适用于现有的针孔相机管线。我们的DirectFisheye-GS在公开数据集上达到了与最先进方法匹配或超越的性能。项目页面：https://yzxqh.github.io/DirectFisheye-GS/
引用
@article{arxiv.2604.00648,
title = {DirectFisheye-GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross-View Joint Optimization},
author = {Zhengxian Yang and Fei Xie and Xutao Xue and Rui Zhang and Taicheng Huang and Yang Liu and Mengqi Ji and Tao Yu},
journal= {arXiv preprint arXiv:2604.00648},
year = {2026}
}
备注
CVPR 2026 Highlight; Fix NSFC ID