AONeuS：一种用于声光传感器融合的神经渲染框架
计算机视觉与模式识别
2024-08-06 v3 机器学习
摘要
水下感知和 3D 表面重建是具有挑战性的问题，在建筑、安全、海洋考古和环境监测中有着广泛的应用。危险的作业条件、脆弱的环境以及有限的导航控制通常要求潜水器限制其运动范围，从而限制了它们捕获测量数据所用的基线。在 3D 场景重建的背景下，众所周知，较小的基线会使重建更具挑战性。我们的工作开发了一个基于物理的多模态声光神经表面重建框架（AONeuS），该框架能够有效地将高分辨率 RGB 测量与低分辨率深度分辨成像声纳测量相结合。通过融合这些互补模态，我们的框架可以从在严重受限的基线下捕获的测量中重建出精确的高分辨率 3D 表面。通过广泛的模拟和室内实验，我们证明 AONeuS 显著优于近期基于纯 RGB 和纯声纳的可微逆渲染表面重建方法。一个展示我们论文结果可视化的网站位于此地址：https://aoneus.github.io/
引用
@article{arxiv.2402.03309,
title = {AONeuS: A Neural Rendering Framework for Acoustic-Optical Sensor Fusion},
author = {Mohamad Qadri and Kevin Zhang and Akshay Hinduja and Michael Kaess and Adithya Pediredla and Christopher A. Metzler},
journal= {arXiv preprint arXiv:2402.03309},
year = {2024}
}
备注
SIGGRAPH 2024 (conference track full paper). First two authors contributed equally. Paper website: https://aoneus.github.io/