Bonnet：一种用于机器人中基于 CNN 语义分割的开源训练与部署框架
机器人学
2019-02-04 v2 计算机视觉与模式识别
摘要
解释场景的能力对于需要与所处环境交互的机器人而言是一项重要技能。例如，知晓机器人前方有何物对于导航、操纵或规划都至关重要。语义分割将图像中每个像素标注为一个类别标签，从而向机器人提供对周围环境的详细语义注解。卷积神经网络（CNNs）是解决此类问题的流行方法。然而，尽管已有若干高质量的开源框架可用于神经网络实现与训练，用于训练以及将 CNN 集成到真实机器人中的可用软件仍相当碎片化，且常令非专家难以使用。在本文中，我们提出了一个名为 Bonnet 的工具，它通过构建专用于语义分割任务的更高层抽象来解决这一碎片化问题。它提供了一种模块化方法，以独立于所用数据集和预期任务的方式简化语义分割 CNN 的训练。此外，我们也解决了在真实机器人平台上的部署问题。因此，本文并未提出一种新的 CNN 方法，而是提供了一个稳定且易用的工具，使该技术在自主系统背景下更易于上手。就此意义而言，我们旨在弥合计算机视觉研究与机器人研究应用之间的鸿沟。我们提供了用于训练和部署的开源代码库。训练接口使用 TensorFlow 以 Python 实现，部署接口提供了一个可轻松集成到现有机器人代码库中的 C++ 库、一个 ROS 节点，以及两个用于图像和视频中标签预测的独立应用程序。
引用
@article{arxiv.1802.08960,
title = {Bonnet: An Open-Source Training and Deployment Framework for Semantic Segmentation in Robotics using CNNs},
author = {Andres Milioto and Cyrill Stachniss},
journal= {arXiv preprint arXiv:1802.08960},
year = {2019}
}
备注
To be published in to IEEE International Conference on Robotics and Automation 2019