“用轨迹解释强化学习决策”：一项可复现性研究
人工智能
2024-11-12 v1
摘要
本文研究了论文“用轨迹解释强化学习决策”的可复现性。原论文提出了一种基于将智能体决策归因于训练期间遇到的特定轨迹簇的可解释强化学习新方法。我们验证了论文的主要主张，即：(i) 在较少轨迹上训练会导致较低的初始状态价值，(ii) 一个簇内的轨迹呈现相似的高层模式，(iii) 远距离轨迹影响智能体的决策，(iv) 人类能正确识别归因于智能体决策的轨迹。我们根据作者为其中一个环境(网格世界)提供的部分原始代码恢复了所用环境，并从头实现了其余环境(Seaquest、HalfCheetah、Breakout和Q*Bert)。虽然我们确认(i)、(ii)和(iii)部分成立，但我们通过引入定量指标进一步支持(iii)，并为(i)提供新的实验和可视化结果，扩展了作者主要定性的实验。此外，我们研究了不同聚类算法和编码器架构的使用，以进一步支持(ii)。由于原始实验范围有限，我们无法支持(iv)。我们得出结论，虽然部分主张得到支持，但仍有必要进行进一步的调查和实验。我们认可作者工作的创新性，并希望我们的工作为更清晰、更透明的方法铺平道路。
引用
@article{arxiv.2411.07200,
title = {'Explaining RL Decisions with Trajectories': A Reproducibility Study},
author = {Karim Abdel Sadek and Matteo Nulli and Joan Velja and Jort Vincenti},
journal= {arXiv preprint arXiv:2411.07200},
year = {2024}
}