基于3D场景图中神经消息传递的语义与几何建模及其在层次化机械搜索中的应用
计算机视觉与模式识别
2021-05-25 v2 人工智能
机器学习
机器人学
摘要
在家庭或办公室等室内有序环境中搜索物体是我们日常活动的一部分。在寻找目标物体时，我们会联合推理该物体可能所在的房间和容器；相同类型的容器，其包含目标物体的概率会因所处房间的不同而有所差异。如果目标物体被遮挡，我们还会结合几何与语义信息来推断搜索哪个容器最佳，或者移动哪些其他物体最佳。我们提出使用3D场景图表示来捕捉该问题的层次化、语义和几何特征。为了在搜索过程中利用这种表示，我们引入了层次化机械搜索（HMS），这是一种引导智能体采取行动以寻找由自然语言描述指定的目标物体的方法。HMS基于一种新颖的神经网络架构，该架构使用融合视觉、几何和语言信息的向量的神经消息传递，使HMS能够在结合语义和几何线索的同时跨图的各层进行推理。HMS在一个包含500个3D场景图的新颖数据集上进行了评估，这些场景图在存储位置中密集放置了语义相关的物体。结果表明，HMS在寻找物体方面显著优于几个基线方法，并且在所需动作数量的中位数上接近oracle策略。更多定性结果可在 https://ai.stanford.edu/mech-search/hms 找到。
引用
@article{arxiv.2012.04060,
title = {Semantic and Geometric Modeling with Neural Message Passing in 3D Scene Graphs for Hierarchical Mechanical Search},
author = {Andrey Kurenkov and Roberto Martín-Martín and Jeff Ichnowski and Ken Goldberg and Silvio Savarese},
journal= {arXiv preprint arXiv:2012.04060},
year = {2021}
}