ReCCoVER：面向可解释强化学习的因果混淆检测

尽管深度强化学习（DRL）算法近年来在多个领域取得了显著成果，但其缺乏透明性，影响用户信任并阻碍其部署到高风险任务中。因果混淆指的是智能体在特征间学到虚假相关性的现象，此类相关性可能并不在整个状态空间中成立，从而阻碍其安全部署到这些相关性可能被打破的真实任务中。在本工作中，我们考察智能体是否在关键状态依赖于虚假相关性，并提出其应转而基于的替代特征子集，以降低其对因果混淆的敏感性。我们的目标是通过揭示所学虚假相关性对其决策的影响来提高DRL智能体的透明性，并就状态空间不同部分的特征选择向开发者提供建议，以避免因果混淆。我们提出ReCCoVER，一种在部署前通过在与某些特征间相关性不成立的替代环境中执行智能体策略来检测其推理中因果混淆的算法。我们在出租车与网格世界环境中展示了我们的方法，其中ReCCoVER检测到智能体依赖虚假相关性的状态，并给出应被考虑的替代特征集合。