SALSA-RL：动作潜在空间中的稳定性分析及强化学习
机器学习
2026-04-10 v5
摘要
现代深度强化学习(DRL)方法在处理连续动作空间方面取得了显著进展。然而，现实世界的控制系统，尤其是需要精确可靠性能的系统，往往需要对智能体行为的解释性，以识别与环境之间的安全或故障易感交互。为此，本工作提出了 SALSA-RL(动作潜在空间中的稳定性分析)，一种新的 RL 框架，将控制动作建模为在潜在空间中演化的动态、时变变量。通过采用预训练的编码器-解码器和状态相关的线性系统，该方法通过局部稳定性分析实现解释性，其中可预测执行前动作范数值的瞬时增长。结果表明，SALSA-RL 可在不损害性能的前提下，用于从预训练的 RL 智能体评估动作的局部稳定性。通过实现对动作生成的更可解释分析，SALSA-RL 为推动 RL 系统的设计、分析和理论理解提供了强大的工具。
引用
@article{arxiv.2502.15512,
title = {SALSA-RL: Stability Analysis in the Latent Space of Actions for Reinforcement Learning},
author = {Xuyang Li and Romit Maulik},
journal= {arXiv preprint arXiv:2502.15512},
year = {2026}
}