强化学习中 Shapley 解释的近似方法
机器学习
2025-11-11 v1
摘要
强化学习在复杂决策环境中取得了显著成功，但其透明性不足限制了在实际应用中，尤其是在安全关键场景中的部署。来自合作博弈论的 Shapley 值提供了解释强化学习的原则框架，但 Shapley 解释的计算成本是其实际应用的障碍。我们引入 FastSVERL，这是一种用于解释强化学习的可扩展方法，通过近似 Shapley 值来实现。FastSVERL 旨在处理强化学习的独特挑战，包括跨多步轨迹的时间依赖性、来自离策略数据的学习，以及对实时演化代理行为的适应。FastSVERL 提供了一种实用、可扩展的方法，实现强化学习的原则性和严谨可解释性。
引用
@article{arxiv.2511.06094,
title = {Approximating Shapley Explanations in Reinforcement Learning},
author = {Daniel Beechey and Özgür Şimşek},
journal= {arXiv preprint arXiv:2511.06094},
year = {2025}
}
备注
Camera-ready version. Published at the Conference on Neural Information Processing Systems (NeurIPS 2025)