MobiFuse：一种基于多数据融合的高精度设备端深度感知系统
计算机视觉与模式识别
2024-12-19 v1
摘要
我们提出了MobiFuse，一种在移动设备上结合双RGB和飞行时间（ToF）相机的高精度深度感知系统。为了实现这一目标，我们利用来自各种环境因素的物理原理，提出了深度误差指示（DEI）模态，表征ToF和立体匹配的深度误差。此外，我们采用渐进式融合策略，将来自ToF和立体深度图的几何特征与来自DEI模态的深度误差特征合并，以生成精确的深度图。此外，我们创建了一个新的ToF-立体深度数据集RealToF，用于训练和验证我们的模型。我们的实验表明，MobiFuse在基线之上表现出色，将深度测量误差显著降低了高达77.7%。它还在不同数据集上展示了强大的泛化能力，并在两个下游任务（三维重建和三维分割）中证明了有效性。MobiFuse在真实场景中的演示视频可在去标识化的YouTube链接（https://youtu.be/jy-Sp7T1LVs）获取。
引用
@article{arxiv.2412.13848,
title = {MobiFuse: A High-Precision On-device Depth Perception System with Multi-Data Fusion},
author = {Jinrui Zhang and Deyu Zhang and Tingting Long and Wenxin Chen and Ju Ren and Yunxin Liu and Yudong Zhao and Yaoxue Zhang and Youngki Lee},
journal= {arXiv preprint arXiv:2412.13848},
year = {2024}
}