XRL-Bench：评估与比较可解释强化学习技术的基准
人工智能
2024-02-21 v1
摘要
强化学习 (RL) 已在多个领域展现出巨大潜力，然而理解其决策过程，尤其是在理性与安全至关重要的现实场景中，仍是一项持续的挑战。本文深入探讨可解释强化学习 (XRL)，这是可解释人工智能 (XAI) 的一个子领域，旨在揭示 RL 模型的复杂性。我们的重点在于状态解释技术，这是 XRL 方法中的一个关键子集，因为它们揭示了在任何给定时间影响智能体行为的潜在因素。尽管这些技术作用显著，但缺乏统一的评估框架阻碍了对其准确性和有效性的评估。为解决这一问题，我们推出了 XRL-Bench，这是一个专为评估和比较 XRL 方法而设计的统一标准化基准，包含三个主要模块：标准 RL 环境、基于状态重要性的解释器以及标准评估器。XRL-Bench 支持表格数据和图像数据的状态解释。我们还提出了 TabularSHAP，一种创新且具有竞争力的 XRL 方法。我们展示了 TabularSHAP 在现实世界在线游戏服务中的实用价值，并提供了一个开源基准平台，以便简便地实施和评估 XRL 方法。我们的贡献促进了 XRL 技术的持续发展。
引用
@article{arxiv.2402.12685,
title = {XRL-Bench: A Benchmark for Evaluating and Comparing Explainable Reinforcement Learning Techniques},
author = {Yu Xiong and Zhipeng Hu and Ye Huang and Runze Wu and Kai Guan and Xingchen Fang and Ji Jiang and Tianze Zhou and Yujing Hu and Haoyu Liu and Tangjie Lyu and Changjie Fan},
journal= {arXiv preprint arXiv:2402.12685},
year = {2024}
}
备注
10 pages, 5 figures