理解与可视化强化学习智能体策略的框架
人工智能
2022-08-19 v1 人机交互
机器学习
计算机科学中的逻辑
摘要
近年来，随着 AI 可信与伦理问题日益受到重视，对理解深度学习模型的需求增长，可解释 AI 取得了显著进展。序贯决策任务的可理解模型尤具挑战，因其不仅需理解单个预测，还需理解一系列与环境动态交互的预测。我们提出一个学习序贯决策任务可理解模型的框架，其中智能体策略用时态逻辑公式刻画。给定一组智能体轨迹，我们首先使用一种捕捉频繁动作模式的新型嵌入方法对轨迹聚类。随后我们搜索可解释不同聚类中智能体策略的逻辑公式。我们在 StarCraft II（SC2）的战斗场景上评估框架，所用轨迹来自手工专家策略与训练得到的强化学习智能体。我们实现了 SC2 环境特征提取器，从智能体重放中提取由描述环境状态与智能体局部行为的高层特征序列构成的轨迹。我们进一步设计了描绘环境中单位移动的可视化工具，助于理解不同任务条件如何导致各轨迹聚类中 distinct 的智能体行为模式。实验结果表明，我们的框架能将智能体轨迹分离为不同行为组，且策略推断方法可为这些组生成一致、有意义且易理解的策略描述。
引用
@article{arxiv.2208.08552,
title = {A Framework for Understanding and Visualizing Strategies of RL Agents},
author = {Pedro Sequeira and Daniel Elenius and Jesse Hostetler and Melinda Gervasio},
journal= {arXiv preprint arXiv:2208.08552},
year = {2022}
}