因果深 Q 网络
人工智能
2025-10-28 v1
摘要
深 Q 网络 (DQN) 在各种强化学习任务中显示出显著的成功。然而，它们依赖于关联学习，往往导致获取虚假关联，从而阻碍问题解决能力。本文提出一种将因果原理集成到 DQN 中的新方法，利用 PEACE (概率易变分因果效应) 公式估计因果效应。在训练期间融入因果推理，我们的框架增强了 DQN 对环境底层因果结构的理解，从而减轻了混杂因素和虚假关联的影响。我们展示了将 DQN 与因果能力集成显著提升了其问题解决能力，而不会牺牲性能。在标准基准环境中的实验结果表明，我们的方法优于传统 DQN，凸显了因果推理在强化学习中的有效性。总体而言，我们的工作为通过原则性因果推断推进深度强化学习智能体的能力提供了可行的道路。
引用
@article{arxiv.2510.23424,
title = {Causal Deep Q Network},
author = {Elouanes Khelifi and Amir Saki and Usef Faghihi},
journal= {arXiv preprint arXiv:2510.23424},
year = {2025}
}