使用线性模型树逼近深度强化学习靠泊智能体
机器人学
2022-03-02 v1 机器学习
摘要
深度强化学习在机器人领域已取得诸多显著成果。然而，深度神经网络（DNN）并不直观，这使得理解其预测变得困难，并因经济、安全和保障方面的原因，极大地限制了其在现实世界应用中的潜力。为解决这一问题，已提出多种可解释人工智能方法，如 SHAP 和 LIME，但这些方法要么成本过高，无法用于实时机器人应用，要么仅提供局部解释。本文的主要贡献是使用线性模型树（LMT）来逼近一个 DNN 策略，该策略最初通过近端策略优化（PPO）训练，用于具有五个控制输入并执行靠泊操作的自主水面船舶。所提出方法的两个主要优点是：a) LMT 是透明的，这使得可以将输出（在我们的案例中为控制动作）与输入特征的特定值直接关联起来；b) LMT 计算效率高，可以实时提供信息。在我们的仿真中，不透明的 DNN 策略控制船舶，而 LMT 并行运行，以特征归因的形式提供解释。我们的结果表明，LMT 可以成为自主船舶数字保障框架中的一个有用组件。
引用
@article{arxiv.2203.00369,
title = {Approximating a deep reinforcement learning docking agent using linear model trees},
author = {Vilde B. Gjærum and Ella-Lovise H. Rørvik and Anastasios M. Lekkas},
journal= {arXiv preprint arXiv:2203.00369},
year = {2022}
}