用于强化学习的自监督可解释特征发现
计算机视觉与模式识别
2021-03-22 v4
摘要
深度强化学习（RL）近来在一系列复杂控制任务上取得了诸多突破。然而，智能体的决策过程通常并不透明。可解释性的缺乏阻碍了 RL 在安全关键场景中的适用性。尽管已有若干方法尝试解释基于视觉的 RL，但大多数未能对智能体行为给出详细解释。本文提出一种自监督可解释框架，能够发现可解释特征，使即使非专家也能轻松理解 RL 智能体。具体而言，采用自监督可解释网络（SSINet）生成细粒度注意力掩码，以高亮与任务相关的信息，这些信息构成了智能体决策的大部分依据。我们在数款 Atari 2600 游戏以及 Duckietown（一个具有挑战性的自动驾驶仿真环境）上验证并评估了我们的方法。结果表明，我们的方法提供了关于智能体如何决策以及为何表现良好或糟糕的经验证据，尤其在迁移至新场景时。总体而言，我们的方法为基于视觉的 RL 的内部决策过程提供了有价值的洞察。此外，我们的方法未使用任何外部标注数据，从而展示了通过自监督方式学习高质量掩码的可能性，这或许能为无标注视觉学习（如自监督分割与检测）的新范式提供启示。
引用
@article{arxiv.2003.07069,
title = {Self-Supervised Discovering of Interpretable Features for Reinforcement Learning},
author = {Wenjie Shi and Gao Huang and Shiji Song and Zhuoyuan Wang and Tingyu Lin and Cheng Wu},
journal= {arXiv preprint arXiv:2003.07069},
year = {2021}
}
备注
Accepted as a Regular Paper in IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)