用于带神经网络快速在线强化学习的两种几何输入变换方法

我们在在线强化学习中使用带 ReLU 门的神经网络。我们的目标是以增量方式训练这些网络，而无需计算代价高昂的经验回放。通过研究单个神经节点在在线训练中的行为，我们认识到 ReLU 门的全局特性会在每个节点的学习行为中引起不良的学习干扰。我们提出用两种高效的、本质上具有几何性质的输入变换方法来减少此类干扰，它们与 ReLU 门的几何特性良好匹配。第一种是瓦片编码（tile coding），一种经典的二进制编码方案，最初基于输入空间的拓扑结构为局部泛化而设计。第二种（EmECS）是我们引入的新方法；它基于凸集的几何性质以及输入空间到凸集边界的拓扑嵌入。我们讨论了网络在变换后输入上运行时的行为。我们还在实验中将其与一些不使用相同输入变换的神经网络以及瓦片编码加线性函数逼近器的经典算法进行比较，在多个在线强化学习任务上，我们表明带瓦片编码或 EmECS 的神经网络不仅能实现更快的学习，还能获得更精确的逼近。我们的结果强烈表明，此类几何输入变换可有效减少干扰，并使我们在使用神经网络实现完全增量式强化学习的道路上向前迈进了一步。