基于 Sim2Real 域随机化的机器人应用目标检测
机器人学
2022-10-26 v2 计算机视觉与模式识别
摘要
在非结构化环境中工作的机器人必须能够感知并解释其周围环境。基于深度学习的模型在机器人领域的主要障碍之一是缺乏面向不同工业应用的领域特定标注数据。在本文中，我们提出一种基于域随机化的 sim2real 迁移学习方法用于目标检测，借助该方法可自动生成任意规模和物体类型的合成标注数据集。随后，训练最先进的卷积神经网络 YOLOv4 以检测不同类型的工业物体。利用所提域随机化方法，我们将现实差距缩小到令人满意的水平，在我们包含 190 张真实图像的人工标注数据集上，分别在零样本和单样本迁移情况下取得了 86.32% 和 97.38% 的 mAP50 分数。我们的方案适合工业使用，因为数据生成过程每张图像耗时少于 0.5 秒，且训练在 GeForce RTX 2080 Ti GPU 上仅持续约 12 小时。此外，它仅通过一张真实图像用于训练即可可靠区分相似类别的物体。据我们所知，这是迄今为止唯一满足这些约束的工作。
引用
@article{arxiv.2208.04171,
title = {Object Detection Using Sim2Real Domain Randomization for Robotic Applications},
author = {Dániel Horváth and Gábor Erdős and Zoltán Istenes and Tomáš Horváth and Sándor Földi},
journal= {arXiv preprint arXiv:2208.04171},
year = {2022}
}
备注
Published in IEEE Transactions on Robotics (T-RO)