学习基于Transformer的世界模型与对比预测编码
机器学习
2025-05-27 v2 人工智能
计算机视觉与模式识别
摘要
DreamerV3算法最近通过基于循环神经网络（RNN）的精确世界模型，在多种环境领域取得了显著表现。在基于模型的强化学习算法取得成功，以及Transformer架构因其优越的训练效率和良好的扩展性被广泛采用的背景下，近期工作如STORM提出使用掩码自注意力将基于RNN的世界模型替换为基于Transformer的世界模型。然而，尽管这些方法改善了训练效率，其对性能的影响与Dreamer算法相比仍然有限，难以学习具有竞争力的基于Transformer的世界模型。在本工作中，我们表明先前方法采用的下一状态预测目标不足以充分利用Transformer的表示能力。我们提出通过引入TWISTER（Transformer-based World model wIth contraSTivE Representations），一种使用动作条件对比预测编码来学习高层时序特征表示并提升智能体性能的世界模型，将世界模型预测扩展到更长的时间范围。TWISTER在Atari 100k基准测试上取得了162%的人类标准化平均分，在不使用前瞻搜索的最先进方法中创造了新纪录。
引用
@article{arxiv.2503.04416,
title = {Learning Transformer-based World Models with Contrastive Predictive Coding},
author = {Maxime Burchi and Radu Timofte},
journal= {arXiv preprint arXiv:2503.04416},
year = {2025}
}