REACT：揭示进化动作后果轨迹以实现可解释的强化学习
机器学习
2024-04-05 v1 人工智能
神经与进化计算
摘要
为了增强强化学习（RL）的可解释性，我们提出了揭示进化动作后果轨迹（REACT）。与基于训练期间学习到的最优行为来验证 RL 模型的普遍做法相反，我们认为考虑一系列边缘情况轨迹能够更全面地理解其内在行为。为了诱发此类场景，我们向初始状态引入扰动，通过进化算法对其进行优化，以生成多样化的演示种群。为了评估轨迹的适应度，REACT 引入了一个联合适应度函数，以鼓励在遇到的状态和选择的动作上保持局部和全局的多样性。通过对在离散和连续环境中训练不同时长的策略进行评估，我们展示了 REACT 的描述能力。我们的结果突出了其在揭示 RL 模型超越最优性能的细微行为方面的有效性，从而有助于提高可解释性。
引用
@article{arxiv.2404.03359,
title = {REACT: Revealing Evolutionary Action Consequence Trajectories for Interpretable Reinforcement Learning},
author = {Philipp Altmann and Céline Davignon and Maximilian Zorn and Fabian Ritz and Claudia Linnhoff-Popien and Thomas Gabor},
journal= {arXiv preprint arXiv:2404.03359},
year = {2024}
}
备注
12 pages, 12 figures