了解你的轨迹——通过基于重要性的轨迹分析实现可信赖的强化学习部署
机器学习
2025-12-09 v1
摘要
随着强化学习（RL）智能体越来越多地部署在现实应用中，确保其行为透明且可信赖至关重要。可信性的一个关键组成部分是可解释性，然而许多可解释强化学习（XRL）工作聚焦于局部的单步决策。本论文回应了通过轨迹层面分析解释智能体长期行为的关键需求。我们提出了一种新颖框架，通过定义和聚合一种新的状态重要性度量来对整个轨迹进行排序。该度量将经典的 Q 值差与一个捕捉智能体到达目标倾向的"激进项"相结合，提供了对状态关键性更精细的度量。我们证明该方法成功地从异构智能体经验集合中识别出最优轨迹。此外，通过从这些轨迹中关键状态生成反事实回放，我们展示了智能体所选择的路径稳健地优于替代方案，从而提供了强有力的"为何选这个，而非那个？"的解释。我们在标准 OpenAI Gym 环境中的实验验证了我们提出的重要性度量在识别最优行为方面比经典方法更有效，为实现可信赖的自主系统迈出了重要一步。
引用
@article{arxiv.2512.06917,
title = {Know your Trajectory -- Trustworthy Reinforcement Learning deployment through Importance-Based Trajectory Analysis},
author = {Clifford F and Devika Jay and Abhishek Sarkar and Satheesh K Perepu and Santhosh G S and Kaushik Dey and Balaraman Ravindran},
journal= {arXiv preprint arXiv:2512.06917},
year = {2025}
}
备注
Accepted at 4th Deployable AI Workshop at AAAI 2026