FloatingFusion：基于ToF与图像稳定立体相机的深度估计
计算机视觉与模式识别
2022-10-07 v1
摘要
高精度的逐像素深度对计算摄影至关重要，因此智能手机现在配备有多模态相机系统，包含飞行时间（ToF）深度传感器和多个彩色相机。然而，由于ToF传感器分辨率低且主动照明功率有限，生成准确的高分辨率深度仍然具有挑战性。融合RGB立体与ToF信息是解决这些问题的有前景方向，但一个关键问题依然存在：为提供高质量2D RGB图像，主彩色传感器的镜头经过光学稳定，导致浮动镜头姿态未知，破坏了多模态图像传感器之间的几何关系。利用ToF深度估计和广角RGB相机，我们设计了一种基于稠密2D/3D匹配的自动标定技术，可从单张快照估计稳定主RGB传感器的相机外参、内参和畸变参数。这使我们能够通过相关卷融合立体与ToF线索。对于融合，我们通过具有由神经重建方法估计的深度监督的真实世界训练数据集应用深度学习。对于评估，我们使用商用高功率深度相机获取测试数据集，并表明我们的方法比现有基线达到更高精度。
引用
@article{arxiv.2210.02785,
title = {FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras},
author = {Andreas Meuleman and Hakyeong Kim and James Tompkin and Min H. Kim},
journal= {arXiv preprint arXiv:2210.02785},
year = {2022}
}