自动化机器人操作器中深度学习视觉模型的仿真内测试
机器人学
2024-11-12 v2 神经与进化计算
摘要
自动化机器人操作器的测试由于视觉和控制组件之间复杂的软件交互，具有挑战性。现代机器人操作器的关键组成部分是基于深度学习的对象检测模型。该模型的创建和评估需要真实世界数据，而这些数据在硬件 setup 不可得时难以获取和标注。当前技术主要 focus 使用合成数据训练深度神经网络 (DDN)，并通过离线或在线仿真测试来识别故障。然而，利用识别出的故障来早期发现设计缺陷，以及在仿真中利用优化后的 DNN 来加速针对真实世界任务的 DNN 工程，仍然不够清晰。为此，我们提出了 MARTENS (Manipulator Robot Testing and Enhancement in Simulation) 框架，将光照逼真的 NVIDIA Isaac Sim 模拟器与进化搜索相结合，用于识别关键场景，以改进深度学习视觉模型并发现系统设计缺陷。两个工业案例研究的评估表明，MARTENS 有效揭示了机器人操作器系统故障，检测到的故障数量比随机测试生成高出 25% 至 50%，且故障多样性更大。使用 MARTENS 方法训练和修复的模型在真实世界图像上分别获得了 0.91 和 0.82 的平均精度 (mAP)。进一步在真实世界图像上进行少量 fine-tuning（不足 10 个 epoch）后，mAP 分别提升至 0.95 和 0.89。相比仅用真实世界数据训练的模型（分别在 use case 1 和 use case 2 上分别达到 0.8 和 0.75 的 mAP，且需要超过 25 个 epoch），MARTENS 的显著优势更为明显。
引用
@article{arxiv.2410.19277,
title = {In-Simulation Testing of Deep Learning Vision Models in Autonomous Robotic Manipulators},
author = {Dmytro Humeniuk and Houssem Ben Braiek and Thomas Reid and Foutse Khomh},
journal= {arXiv preprint arXiv:2410.19277},
year = {2024}
}