基于 SHAP 指导的核型演员-批评家强化学习
机器学习
2026-02-02 v2
摘要
演员-批评家 (AC) 方法是强化学习 (RL) 的基石，但提供的解释性有限。当前的可解释 RL 方法很少利用状态归因来辅助训练。相反，它们将所有状态特征视为平等，从而忽视了单个状态维度对奖励影响的异构性。我们提出了一种基于 RKHS-SHAP 的高级演员-批评家算法 (RSA2C)，这是一种受归因驱动、核化的双时间尺度 AC algorithm，包括演员、价值批评家和优势批评家。演员在以马哈努里斯加权算子值核的 RKHS 中实例化，而价值批评家和优势批评家则位于标量 RKHS 中。这些 RKHS 增强组件使用稀疏字典：价值批评家维护自己的字典，而演员和优势批评家共享一个字典。从价值批评家通过 RKHS-SHAP（对流形内期望的核均值嵌入，对流形外期望的条件均值嵌入）计算的状态归因被转换为马哈努里斯门控权重，用于调制演员梯度和优势批评家目标。我们推导了在状态扰动下的全局、非渐近收敛界，显示通过扰动误差项实现稳定性，通过收敛误差项实现效率。在三个连续控制环境中的实验结果表明，RSA2C 在效率、稳定性和解释性方面均取得佳绩。
引用
@article{arxiv.2512.05291,
title = {SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning},
author = {Na Li and Hangguan Shan and Wei Ni and Wenjie Zhang and Xinyu Li},
journal= {arXiv preprint arXiv:2512.05291},
year = {2026}
}