面向基于技能视觉物体导航的交互式语义地图表示
机器人学
2023-11-08 v1 计算机视觉与模式识别
摘要
使用学习方法的视觉物体导航是移动机器人中的关键任务之一。本文提出了一种在具身智能体与室内环境交互过程中形成的场景语义地图的新表示。它基于一种神经网络方法，该方法在常规（反向）或延迟（正向）图像序列推理期间，通过预测融合损失值的反向传播来调整分割模型的权重。我们将此表示实现为一种名为 SkillTron 的完整导航方法，该方法可基于强化学习和经典基于地图的规划方法从端到端策略中选择机器人技能。所提方法能够同时形成机器人探索的中间目标和物体导航的最终目标。我们在 Habitat 环境中使用所提方法进行了大量实验，结果表明其导航质量指标相比最先进方法具有显著优越性。开发的代码和使用的自定义数据集已在 github.com/AIRI-Institute/skill-fusion 公开。
引用
@article{arxiv.2311.04107,
title = {Interactive Semantic Map Representation for Skill-based Visual Object Navigation},
author = {Tatiana Zemskova and Aleksei Staroverov and Kirill Muravyev and Dmitry Yudin and Aleksandr Panov},
journal= {arXiv preprint arXiv:2311.04107},
year = {2023}
}