SymDQN：基于神经网络的强化学习中的符号知识与推理

我们提出了一种学习架构，允许在深度神经网络强化学习中进行符号控制和引导。我们引入了SymDQN，这是一种新颖的模块化方法，通过基于逻辑张量网络（LTN）的神经符号框架的模块来增强现有的Dueling Deep Q-Networks（DuelDQN）架构。这些模块指导动作策略学习，并允许强化学习代理表现出与环境推理一致的行为。我们的实验是对这些模块的消融研究。实验在一个5x5网格的强化学习环境中进行，代理在其中导航并遇到各种形状，每个形状关联一个给定的奖励。底层的DuelDQN尝试学习该环境中代理的最优行为，而模块则促进形状识别和奖励预测。我们表明，我们的架构在性能和代理精度方面都显著提高了学习效果。SymDQN的模块化允许反思在强化学习中结合神经和符号方法的复杂性和细节。