面向能力感知深度强化学习的趣味性全局与局部分析
人工智能
2022-11-14 v1 机器学习
摘要
近年来，深度学习的进步使得强化学习(RL)在解决具有高维输入的复杂序列决策任务方面取得了大量成功。然而，现有系统缺乏必要的机制来为人类提供其能力的全局视图，这阻碍了它们的采用，特别是在智能体所做的决策可能产生重大后果的关键应用中。此外，现有的基于RL的系统本质上是不具备能力感知的，因为它们缺乏必要的解释机制来让人类操作者对其能力有深刻的全局视图。在本文中，我们扩展了一个最近提出的可解释RL框架，该框架基于对“趣味性”的分析。我们的新框架提供了源自趣味性分析的各种RL智能体能力度量，并适用于广泛的RL算法。我们还提出了评估RL智能体能力的新颖机制：1) 仅使用趣味性数据对智能体行为轨迹进行聚类，以识别智能体行为模式和控制能力的条件；2) 通过使用SHAP值进行全局和局部分析，识别主要通过趣味性衡量的、对智能体行为起主要作用的任务元素。总体而言，我们的工具提供了关于RL智能体能力（包括其能力和局限性）的洞察，使用户能够在人机协作环境中对干预、额外训练和其他交互做出更明智的决策。
引用
@article{arxiv.2211.06376,
title = {Global and Local Analysis of Interestingness for Competency-Aware Deep Reinforcement Learning},
author = {Pedro Sequeira and Jesse Hostetler and Melinda Gervasio},
journal= {arXiv preprint arXiv:2211.06376},
year = {2022}
}
备注
Appears in Proceedings of AAAI FSS-22 Symposium "Lessons Learned for Autonomous Assessment of Machine Abilities (LLAAMA)"