学习解释Atari智能体
机器学习
2023-04-07 v3 机器学习
摘要
深度强化学习(DeepRL)智能体在许多任务中超越人类水平表现。然而，从状态到动作的直接映射使得难以解释智能体决策背后的原理。与以往用于可视化DeepRL策略的事后方法不同，本工作中我们提出为DeepRL模型配备内在的可视化能力。我们提出的智能体称为区域敏感Rainbow(RS-Rainbow)，是基于原始Rainbow(一种强大的深度Q网络智能体)的端到端可训练网络。它通过注意力模块学习输入域中的重要区域。在推理时，每次前向传播后，我们可以通过将梯度从注意力模块反向传播到输入帧来可视化对决策最重要的区域。我们提出模块的引入不仅提升了模型可解释性，还带来了性能提升。在Atari 2600套件游戏上的大量实验证明了RS-Rainbow的有效性。
引用
@article{arxiv.1812.11276,
title = {Learn to Interpret Atari Agents},
author = {Zhao Yang and Song Bai and Li Zhang and Philip H. S. Torr},
journal= {arXiv preprint arXiv:1812.11276},
year = {2023}
}
备注
An old report. Uploaded for archival purposes only