Mamba作为决策者：探索离线强化学习中的多尺度序列建模
机器学习
2024-09-12 v2
摘要
序列建模在离线强化学习中展现了卓越的能力，其中决策变换器是最著名的代表之一，取得了显著成功。然而，强化学习轨迹具有区别于传统序列（如文本或音频）的独特属性：（1）局部相关性，其中RL中的下一个状态理论上仅由当前状态和动作根据马尔可夫决策过程决定；（2）全局相关性，由于轨迹的时间连续性，每一步的特征都与长期历史信息相关。在本文中，我们提出了一种新颖的动作序列预测器，命名为Mamba决策者，其中Mamba因其对多尺度依赖关系的有效建模，有望成为序列建模范式的有前途替代方案。特别地，我们引入了一个新颖的混合器模块，该模块能熟练地提取和整合输入序列的全局和局部特征，有效捕捉RL数据集中的相互关系。大量实验表明，MambaDM在Atari和OpenAI Gym数据集上达到了最先进的性能。此外，我们实证研究了MambaDM的缩放定律，发现增加模型大小并不会带来性能提升，但将MambaDM的数据集数量扩大2倍，可以在Atari数据集上获得高达33.7%的分数提升。本文深入探讨了MambaDM在RL领域的序列建模能力，为未来构建鲁棒且高效的决策系统铺平了道路。
引用
@article{arxiv.2406.02013,
title = {Mamba as Decision Maker: Exploring Multi-scale Sequence Modeling in Offline Reinforcement Learning},
author = {Jiahang Cao and Qiang Zhang and Ziqing Wang and Jingkai Sun and Jiaxu Wang and Hao Cheng and Yecheng Shao and Wen Zhao and Gang Han and Yijie Guo and Renjing Xu},
journal= {arXiv preprint arXiv:2406.02013},
year = {2024}
}
备注
8 pages, 4 figures