重新理解循环策略网络的有限状态表示
机器学习
2021-07-13 v3 机器学习
摘要
我们介绍了一种理解以循环神经网络表示的控制策略的方法。近期工作通过将上述循环策略网络转化为有限状态机（FSM）并分析等价的极小化 FSM 来解决该问题。尽管这带来了有趣的洞见，但极小化过程可能通过合并语义上不同的状态而掩盖对机器运作的更深理解。为解决此问题，我们引入了一种分析方法，该方法从未极小化 FSM 出发，并应用更具可解释性的归约以保留策略的关键决策点。我们还贡献了一种注意力工具，以深入理解观测在决策中的作用。我们在 7 个 Atari 游戏和 3 个控制基准上的案例研究表明，该方法能够揭示此前未被注意到的洞见。
引用
@article{arxiv.2006.03745,
title = {Re-understanding Finite-State Representations of Recurrent Policy Networks},
author = {Mohamad H. Danesh and Anurag Koul and Alan Fern and Saeed Khorram},
journal= {arXiv preprint arXiv:2006.03745},
year = {2021}
}
备注
ICML 2021