可微树搜索网络

在训练数据有限的决策问题中，使用深度神经网络近似的策略函数通常表现出次优性能。另一种方法是从有限数据中学习世界模型，并通过在线搜索来确定动作。然而，由于学习到的世界模型不准确而产生的复合误差会 adversely 影响性能。虽然 TreeQN 等方法试图通过将算法归纳偏置纳入神经网络架构来解决这些不准确问题，但它们引入的偏置通常较弱，不足以应对复杂的决策任务。在这项工作中，我们引入了可微树搜索网络（D-TSN），这是一种新颖的神经网络架构，它通过嵌入最佳优先在线搜索算法的算法结构来显著增强归纳偏置。D-TSN 采用学习到的世界模型进行完全可微的在线搜索。世界模型与搜索算法联合优化，从而能够学习鲁棒的世界模型并减轻预测不准确的影响。此外，我们注意到简单纳入最佳优先搜索可能导致参数空间中的不连续损失函数。我们通过采用随机树扩展策略来解决这一问题，将搜索树扩展表述为另一个决策任务，并为梯度计算引入了一种有效的方差缩减技术。我们在 Procgen 游戏和网格导航任务上，于训练数据有限场景下的离线强化学习设置中评估了 D-TSN，并证明 D-TSN 优于流行的无模型和基于模型的基线方法。