基于概率模型检测的深度学习强化学习驱动机器人及自治系统可靠性分析
机器人学
2023-01-16 v3 人工智能
软件工程
摘要
尽管深度强化学习（DRL）为机器人及自治系统（RAS）的控制带来了变革性能力，但DRL的黑盒特性与RAS不确定的部署环境为其可靠性带来了新挑战。尽管现有工作通过对DRL策略施加约束以确保任务成功完成，但综合考虑所有可靠性属性对DRL驱动的RAS进行整体评估还远远不够。在本文中，我们形式化定义了一组时序逻辑下的可靠性属性，并构建离散时间马尔可夫链（DTMC）以建模DRL驱动RAS与随机环境交互时的风险/故障动态。随后我们对所设计的DTMC进行概率模型检测（PMC）以验证这些属性。实验结果表明，所提方法作为一种整体评估框架是有效的，同时揭示了属性间可能需要训练权衡的冲突。此外，我们发现标准DRL训练无法改善可靠性属性，因此需要定制优化目标。最后，我们的方法提供了可靠性属性对环境扰动水平的敏感性分析，为实际RAS的保证提供了见解。
引用
@article{arxiv.2109.06523,
title = {Dependability Analysis of Deep Reinforcement Learning based Robotics and Autonomous Systems through Probabilistic Model Checking},
author = {Yi Dong and Xingyu Zhao and Xiaowei Huang},
journal= {arXiv preprint arXiv:2109.06523},
year = {2023}
}
备注
Accepted by IROS2022