验证基于学习的机器人导航系统

深度强化学习 (DRL) 已成为在反应式系统中学习复杂策略的主导深度学习范式。遗憾的是，这些策略已知易受缺陷影响。尽管 DNN 验证取得了显著进展，但展示现代验证工具在真实世界、DRL 控制系统上应用的工作甚少。在本案例研究中，我们试图开始弥合这一差距，并聚焦于无地图机器人导航这一重要任务——一个经典的机器人问题，其中通常由 DRL 智能体控制的机器人需要在未知场地中高效且安全地导航至目标。我们展示了现代验证引擎如何用于有效的模型选择，即从候选策略池中为该机器人选择最佳可用策略。具体而言，我们利用验证来检测并排除可能表现出次优行为（如碰撞与无限循环）的策略。我们还应用验证来识别具有过度保守行为的模型，从而允许用户选择更优策略，其可能更擅长寻找更短路径抵达目标。为验证我们的工作，我们在实际机器人上进行了大量实验，并确认由我们方法检测出的次优策略确实存在缺陷。我们还展示了我们的验证驱动方法相对于最先进的梯度攻击的优越性。我们的工作是首个确立 DNN 验证在真实世界机器人中识别并过滤次优 DRL 策略方面的有用性，且我们相信此处呈现的方法适用于广泛集成基于深度学习的智能体的系统。