THOR2：基于拓扑分析的 3D 形状与颜色的人类启发式对象识别（适用于未见环境）
计算机视觉与模式识别
2024-12-17 v2
摘要
在未见且杂乱的室内环境中进行视觉对象识别是移动机器人面临的挑战。本研究提出一种 3D 形状和颜色基于点云的描述符 TOPS2，用于从 RGB-D 图像生成的点云中提取特征，并配套的识别框架 THOR2。TOPS2 � 描述符体现了人类认知机制中的对象统一性，保留了 TOPS 描述符中基于切片的 3D 形状拓扑表示，同时通过使用基于粗糙颜色区域网络计算的切片-based 颜色嵌入来捕获对象颜色信息。这些颜色区域类似于人类感知中识别的 MacAdam 椭圆，通过 Mapper 算法（一种拓扑软聚类技术）获得。使用合成数据训练的 THOR2 在两个基准真实世界数据集上表现出显著优于 THOR（其 3D 形状基于 predecessor）的识别准确率：OCID 数据集捕获来自不同视角的杂乱场景，UW-IS Occluded 数据集反映不同的环境条件和对象遮挡程度，使用常规硬件记录。THOR2 还优于基线深度学习网络，以及在 RGB-D 输入上适配的广泛使用的 Vision Transformer (ViT)，后者使用合成数据和有限的真实世界数据进行训练。在两个数据集上均表现出色。因此，THOR2 是实现低成本机器人可靠识别的有前景的一步。
引用
@article{arxiv.2408.01579,
title = {THOR2: Topological Analysis for 3D Shape and Color-Based Human-Inspired Object Recognition in Unseen Environments},
author = {Ekta U. Samani and Ashis G. Banerjee},
journal= {arXiv preprint arXiv:2408.01579},
year = {2024}
}