时间差分流
机器学习
2025-03-14 v1 人工智能
机器学习
摘要
预测未来的模型对于智能体的推理和规划能力至关重要。一种常见策略是学习世界模型并在推理时逐步展开，其中小误差可能迅速累积。几何时间范围模型（GHMs）提供了一种有吸引力的替代方案，通过直接预测未来状态来避免累积推理误差。虽然GHMs可以通过与时间差分（TD）学习类似的生成方法进行方便地学习，但现有方法受到训练时自举预测的负面影响，并且在长时间范围内难以生成高质量预测。本论文引入了时间差分流（TD-Flow），它利用新型贝尔曼方程在概率路径上的结构以及流匹配技术来学习精确的GHMs，其时间范围长度是先前方法的5倍以上。在理论上，我们建立了新的收敛结果，并将TD-Flow的有效性主要归因于训练期间梯度的降低。我们进一步表明，类似论点可以推广到基于扩散的方法。在经验上，我们在广泛的领域上验证了TD-Flow，包括生成指标和下游任务如策略评估。此外，将TD-Flow与最近用于基于预训练策略进行规划的行为基础模型集成，展示了显著的性能提升，突显了其在长时间范围决策中的前景。
引用
@article{arxiv.2503.09817,
title = {Temporal Difference Flows},
author = {Jesse Farebrother and Matteo Pirotta and Andrea Tirinzoni and Rémi Munos and Alessandro Lazaric and Ahmed Touati},
journal= {arXiv preprint arXiv:2503.09817},
year = {2025}
}