MMRDN：物体堆叠场景中多视角操作关系检测的一致表示
计算机视觉与模式识别
2023-04-26 v1 人工智能
摘要
操作关系检测（MRD）旨在引导机器人以正确顺序抓取物体，对于保障物体堆叠场景中抓取的安全性与可靠性十分重要。已有工作通过以预定义视角采集的数据训练的深度神经网络推断操作关系，在非结构化环境中存在视觉错位局限。多视角数据可提供空间中更全面的信息，而多视角MRD的一个挑战是域偏移。本文提出一种新颖的多视角融合框架，即多视角MRD网络（MMRDN），由2D与3D多视角数据训练。我们将不同视角的2D数据投影至公共隐空间，并用一组Von-Mises-Fisher分布拟合嵌入以学习一致表示。此外，利用3D数据中的位置信息，我们从每对物体的点云中选取一组最大垂直邻域（KMVN）点，编码这两个物体的相对位置。最后，将多视角2D与3D数据特征拼接以预测物体的两两关系。在具有挑战性的REGRAD数据集上的实验结果表明，MMRDN在多视角MRD任务上优于最先进方法。结果还表明，我们的模型经合成数据训练后可迁移至真实场景。
引用
@article{arxiv.2304.12592,
title = {MMRDN: Consistent Representation for Multi-View Manipulation Relationship Detection in Object-Stacked Scenes},
author = {Han Wang and Jiayuan Zhang and Lipeng Wan and Xingyu Chen and Xuguang Lan and Nanning Zheng},
journal= {arXiv preprint arXiv:2304.12592},
year = {2023}
}