基于网格的强化学习环境中可泛化与可解释知识的学习
人工智能
2023-09-08 v1
摘要
理解经深度强化学习训练的智能体的交互行为，对于在游戏或现实世界中部署智能体至关重要。在前一种情况下，不合理的动作会困扰玩家。在后一种情况下，该影响更为显著，因为意外行为会导致事故，对相关人员造成潜在严重且持久的后果。在本工作中，我们提出在观察到动作序列轨迹后，利用程序合成来模仿强化学习策略。程序具有天然可解释且可验证正确性的优势。我们调整了最先进的程序合成系统DreamCoder，以学习基于网格环境中的概念，具体为一个导航任务以及两个迷你版Atari游戏——Space Invaders和Asterix。通过检视生成的程序库，我们可以推断黑盒智能体所学到的概念，并更好地理解智能体的行为。我们通过可视化智能体在模仿序列中的决策过程实现了同样的目标。我们使用基于仅搜索方法、神经引导搜索以及针对代码微调的语言模型的不同类型程序合成器来评估我们的方法。
引用
@article{arxiv.2309.03651,
title = {Learning of Generalizable and Interpretable Knowledge in Grid-Based Reinforcement Learning Environments},
author = {Manuel Eberhardinger and Johannes Maucher and Setareh Maghsudi},
journal= {arXiv preprint arXiv:2309.03651},
year = {2023}
}
备注
to be published in AIIDE 2023