基于视觉的强化学习的时间-空间因果解释
计算机视觉与模式识别
2021-12-07 v1
摘要
深度强化学习（RL）智能体在一系列复杂控制任务中正变得日益熟练。然而，由于引入了黑盒函数，智能体的行为通常难以解释，使其难以获得用户信任。尽管已存在一些针对基于视觉的 RL 的有趣解释方法，但大多数无法揭示时间因果信息，引发对其可靠性的质疑。为解决此问题，我们提出一种时间-空间因果解释（TSCI）模型来理解智能体的长期行为，这对序贯决策至关重要。TSCI 模型建立在反映 RL 智能体序贯观测与决策之间时间因果关系的时序因果公式之上。随后采用一个独立的因果发现网络来识别受约束以满足时间因果性的时间-空间因果特征。TSCI 模型适用于循环智能体，一旦训练完成便可高效发现因果特征。实证结果表明，TSCI 模型能生成高分辨率且清晰的注意力掩码，以突出构成基于视觉的 RL 智能体如何做出序贯决策的大部分证据的任务相关时间-空间信息。此外，我们进一步证明我们的方法能够从时间视角为基于视觉的 RL 智能体提供有价值的因果解释。
引用
@article{arxiv.2112.03020,
title = {Temporal-Spatial Causal Interpretations for Vision-Based Reinforcement Learning},
author = {Wenjie Shi and Gao Huang and Shiji Song and Cheng Wu},
journal= {arXiv preprint arXiv:2112.03020},
year = {2021}
}
备注
Accepted as a Regular Paper in IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)