SupeRGB-D：杂乱室内环境中的零样本实例分割
计算机视觉与模式识别
2023-05-26 v2
摘要
物体实例分割是室内机器人在布满许多小物体的杂乱环境中导航的一个关键挑战。3D 感知能力的局限往往使得检测每一个可能的物体变得困难。虽然深度学习方法可能对这一问题有效，但为监督学习手动标注 3D 数据十分耗时。在本工作中，我们探索基于 RGB-D 数据的零样本实例分割（ZSIS），以语义类别无关的方式识别未见过的物体。我们引入了 Tabletop Objects Dataset 的零样本划分（TOD-Z）以支撑该研究，并提出了一种利用已标注物体学习像素的“物体性”并泛化到杂乱室内环境中未见物体类别的方法。我们的方法 SupeRGB-D 基于几何线索将像素分组为小块，并以深度凝聚聚类方式学习合并这些小块。SupeRGB-D 在未见物体上优于现有基线，同时在已见物体上取得相似性能。我们进一步在真实数据集 OCID 上展示了具有竞争力的结果。凭借其轻量设计（0.4 MB 内存需求），我们的方法极适合移动与机器人应用。额外的 DINO 特征可在更高内存需求下提升性能。数据集划分与代码见 https://github.com/evinpinar/supergb-d。
引用
@article{arxiv.2212.11922,
title = {SupeRGB-D: Zero-shot Instance Segmentation in Cluttered Indoor Environments},
author = {Evin Pınar Örnek and Aravindhan K Krishnan and Shreekant Gayaka and Cheng-Hao Kuo and Arnie Sen and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2212.11922},
year = {2023}
}
备注
Accepted in Robotics and Automation Letters April 2023