用于在线学习世界模型的局部敏感稀疏编码

由于数据的非平稳性，在线获取精确的世界模型对于基于模型的强化学习（MBRL）具有挑战性，这通常会导致神经网络（NNs）发生灾难性遗忘。从在线学习的角度来看，一个追随领先者（FTL）的世界模型是理想的，它能在每一轮最优地拟合所有先前经验。不幸的是，基于神经网络的模型需要在每个交互步骤对所有累积数据进行重新训练才能实现 FTL，这对于终身智能体来说计算成本高昂。在本文中，我们重新审视了能够通过增量更新实现 FTL 的模型。具体来说，我们的世界模型是一个由非线性随机特征支持的线性回归模型。线性部分确保了高效的 FTL 更新，而非线性随机特征则增强了对复杂环境的拟合能力。为了在模型容量和计算效率之间取得最佳平衡，我们引入了一种局部敏感稀疏编码，这使得我们即使在使用非常高维的非线性特征时也能进行高效的稀疏更新。我们验证了该编码的表示能力，并证实它允许在数据协变量偏移下进行高效的在线学习。我们还在 Dyna MBRL 设置中展示了，使用单次轨迹数据在线学习的我们的世界模型，其性能要么超越要么匹敌使用经验回放和其他持续学习方法训练的深度世界模型。