BET: 通过易错决策解释深度强化学习

尽管深度强化学习（DRL）智能体在许多具有挑战性的场景中展现出令人印象深刻的能力，但其黑盒决策过程严重限制了其在安全敏感领域的部署。先前的一些自解释工作侧重于揭示智能体决策的关键状态。然而，它们无法精确定位易错状态。为了解决这个问题，我们提出了一种新颖的自解释结构，称为骨干提取树（BET），通过识别易错状态来更好地解释智能体的行为。在高层次上，BET假设智能体持续执行统一决策的状态表现出较低的出错倾向。为了有效建模这一现象，BET将这些状态表示为邻域，每个邻域由一组精心挑选的代表性状态定义。因此，距离这些代表性基准较远的状态更容易出错。我们在各种流行的强化学习环境中评估了BET，并展示了其在解释保真度方面优于现有自解释模型。此外，我们演示了一个为星际争霸II（一个复杂的多智能体协作游戏）中的智能体提供解释的用例。据我们所知，我们是第一个使用完全透明的结构来解释如此复杂场景的工作。