基于 RGB-D 室内数据的 3D 实例分割
计算机视觉与模式识别
2024-06-24 v1
摘要
3D 目标识别是智能和机器人系统在工业和家庭室内环境中面临的挑战性任务。对于此类系统而言，识别和分割其频繁遇到的 3D 目标实例至关重要。计算机视觉、图形学和机器学习领域都对此给予了很大关注。传统方法使用手工特征和设计方法，难以获得可接受的性能，且难以推广到大规模数据。近期，深度学习方法凭借其在 2D 计算机视觉中的卓越成功，成为 3D 实例分割的首选方法。然而，该任务目前仍受到较少关注。本文提出一种基于深度学习的高效 3D 实例分割方法，利用红绿蓝光和深度 (RGB-D) 数据。将基于 2D 区域的卷积神经网络 (Mask R-CNN) 深度学习模型与基于点的渲染模块结合，以整合深度信息实现对 3D 目标实例的识别和分割。为了生成 3D 点云坐标 (x, y, z)，将在 RGB 图像中识别目标区域的分割 2D 像素 (u, v) 与深度图像中的 (u, v) 点融合。此外，我们进行了实验和分析，从 various viewpoints and distances 进行比较。实验结果表明，所提出的 3D 目标识别和实例分割方法足以支持机器人和智能系统中的物体处理。
关键词
引用
@article{arxiv.2406.14581,
title = {3D Instance Segmentation Using Deep Learning on RGB-D Indoor Data},
author = {Siddiqui Muhammad Yasir and Amin Muhammad Sadiq and Hyunsik Ahn},
journal= {arXiv preprint arXiv:2406.14581},
year = {2024}
}