对比差分预测编码

预测与推理未来处于许多时间序列问题的核心。例如，目标条件强化学习可视为学习表征以预测未来哪些状态可能被访问。尽管已有方法使用对比预测编码对时间序列数据建模，但学习编码长期依赖的表征通常需要大量数据。本文中，我们引入对比预测编码的时间差分版本，其将不同时间序列数据的片段拼接起来，以减少学习未来事件预测所需的数据量。我们将该表征学习方法应用于推导一种目标条件 RL 的离策略算法。实验表明，与先前 RL 方法相比，我们的方法在成功率上取得中位数 $2 \times$ 的提升，并能更好地应对随机环境。在表格设定下，我们展示该方法比后继表征样本效率高约 $20 \times$，比对比预测编码的标准（蒙特卡洛）版本样本效率高 $1500 \times$。