利用视觉与深度线索为机器人导航扩展带语义与上下文物体信息的地图：一种基于学习的框架
计算机视觉与模式识别
2020-03-16 v1 机器人学
摘要
本文解决了利用RGB-D图像中的语义信息构建场景增强度量表示的问题。我们提出了一个完整的框架，以创建包含物体级信息的环境增强地图表示，可用于人机交互、辅助机器人、视觉导航或操纵任务等多种应用。我们的方法利用基于CNN的物体检测器（Yolo）与基于3D模型的分割技术来执行实例语义分割，并对场景中不同类别的物体进行定位、识别与跟踪。语义类别的跟踪与定位通过一组卡尔曼滤波器字典来完成，以随时间融合传感器测量值，从而提供更准确的地图。该公式旨在识别并忽略动态物体，以获得中期不变的地图表示。所提方法在使用不同室内场景采集的及公开可用的RGB-D数据序列上进行了评估。实验结果表明了该技术在生成包含多个物体（尤其是门）的增强语义地图方面的潜力。我们还向社区提供了一个由标注物体类别（门、灭火器、长椅、饮水机）及其位置组成的数据集，以及作为ROS软件包发布的源代码。
引用
@article{arxiv.2003.06336,
title = {Extending Maps with Semantic and Contextual Object Information for Robot Navigation: a Learning-Based Framework using Visual and Depth Cues},
author = {Renato Martins and Dhiego Bersan and Mario F. M. Campos and Erickson R. Nascimento},
journal= {arXiv preprint arXiv:2003.06336},
year = {2020}
}
备注
Preprint version of the article to appear at Journal of Intelligent & Robotic Systems (2020)