Decision MetaMamba：通过异构序列混合增强离线 RL 中的选择性 SSM
机器学习
2026-02-27 v6 人工智能
摘要
基于 Mamba 的模型在离线强化学习中引起了广泛关注。然而，其选择性机制在 RL 序列中关键步骤被省略时往往会产生不利影响。为解决这些问题，我们提出了一种简单而有效的结构，称为 Decision MetaMamba（DMM），它用基于密集层的序列混合器替换 Mamba 的令牌混合器，并修改位置结构以保留局部信息。通过在 Mamba 之前同时考虑所有通道进行序列混合，DMM 防止了因选择性扫描和残差门控导致的信息丢失。大量实验表明，我们的 DMM 在多样化的 RL 任务中实现了最先进的性能。此外，DMM 以紧凑的参数规模实现了这些结果，展示了在真实应用中的巨大潜力。代码可在 https://github.com/too-z/decision-metamamba 获取。
引用
@article{arxiv.2408.10517,
title = {Decision MetaMamba: Enhancing Selective SSM in Offline RL with Heterogeneous Sequence Mixing},
author = {Wall Kim and Chaeyoung Song and Hanul Kim},
journal= {arXiv preprint arXiv:2408.10517},
year = {2026}
}
备注
17 pages; Previously this version appeared as arXiv:2602.19805 which was submitted as a new work by accident. This is a revised version of the previously withdrawn manuscript, updated with new experiments and results