FusionVision：使用YOLO和Fast Segment Anything从RGB-D相机进行3D物体重建与分割的综合方法
计算机视觉与模式识别
2024-05-02 v2 人工智能
摘要
在计算机视觉领域，将先进技术集成到RGB-D相机输入处理中是一项重大挑战，因为不同环境条件和物体外观变化带来了固有的复杂性。因此，本文介绍了FusionVision，一个用于RGB-D图像中鲁棒3D物体分割的详尽流水线。传统计算机视觉系统在同时捕获精确物体边界和在深度图上实现高精度目标检测方面存在局限性，因为它们主要针对RGB相机提出。为了应对这一挑战，FusionVision采用了一种集成方法，将最先进的目标检测技术与先进的实例分割方法相结合。这些组件的集成使得能够对RGB-D数据进行整体（对来自彩色RGB和深度D通道的信息进行统一分析）解释，从而促进提取全面且准确的物体信息。所提出的FusionVision流水线使用YOLO在RGB图像域中识别物体。随后，应用FastSAM（一种创新的语义分割模型）来描绘物体边界，生成精细的分割掩码。这些组件之间的协同作用以及它们与3D场景理解的集成，确保了目标检测和分割的凝聚融合，提高了3D物体分割的整体精度。代码和预训练模型可在https://github.com/safouaneelg/FusionVision/公开获取。
引用
@article{arxiv.2403.00175,
title = {FusionVision: A comprehensive approach of 3D object reconstruction and segmentation from RGB-D cameras using YOLO and fast segment anything},
author = {Safouane El Ghazouali and Youssef Mhirit and Ali Oukhrid and Umberto Michelucci and Hichem Nouira},
journal= {arXiv preprint arXiv:2403.00175},
year = {2024}
}
备注
14 pages, 9 figures, 1 table