Z-Splat：用于相机-声呐融合的 Z 轴高斯泼溅
计算机视觉与模式识别
2024-07-08 v2 图形学
机器学习
摘要
可微 3D 高斯泼溅(GS)正在成为计算机视觉与图形学中重建 3D 场景的一项重要技术。GS 将场景表示为一组具有不同不透明度的 3D 高斯，并采用计算高效的泼溅操作以及解析导数，以根据从不同视点捕获的场景图像计算 3D 高斯参数。遗憾的是，在许多真实世界的成像场景中，包括水下成像、建筑物内部房间和自主导航，捕获环视（ 视点）图像是不可能或不切实际的。在这些受限基线成像场景中，GS 算法面临著名的“缺失锥”问题，导致沿深度轴的重建效果较差。在本文中，我们证明使用瞬态数据（来自声呐）能够通过沿深度轴采样高频数据来解决缺失锥问题。我们将高斯泼溅算法扩展至两种常用声呐，并提出了同时利用 RGB 相机数据和声呐数据的融合算法。通过各种成像场景下的仿真、模拟和硬件实验，我们表明所提出的融合算法带来了显著更好的新视角合成（PSNR 提升 5 dB）和 3D 几何重建（Chamfer 距离降低 60%）。
引用
@article{arxiv.2404.04687,
title = {Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion},
author = {Ziyuan Qu and Omkar Vengurlekar and Mohamad Qadri and Kevin Zhang and Michael Kaess and Christopher Metzler and Suren Jayasuriya and Adithya Pediredla},
journal= {arXiv preprint arXiv:2404.04687},
year = {2024}
}