多频率下的离线强化学习

利用多源离线机器人数据需要应对此类数据的异质性。本文关注异质性的一个特定方面：从不同控制频率收集的离线数据中学习。不同实验室中控制器的离散化、传感器的采样率以及感兴趣任务的需求可能不同，从而在聚合数据集中产生频率混合。我们研究离线强化学习（RL）算法在训练时能在多大程度上适应频率混合的数据。我们观察到$Q$值以不同速率针对不同离散化传播，给现成的离线RL带来若干学习挑战。我们提出一种简单而有效的解决方案，强制$Q$值更新速率的一致性以稳定学习。通过按离散化大小缩放$N$步回报中的$N$值，我们有效平衡$Q$值传播，实现更稳定的收敛。在三个模拟机器人控制问题上，我们经验性地发现该简单方法比朴素混合平均高出50%。