Decision ConvFormer：MetaFormer 中的局部滤波足以进行决策制定
机器学习
2024-05-31 v3
摘要
近期 Transformer 在自然语言处理中的成功引发了其在各个领域的应用。在离线强化学习（RL）中，Decision Transformer（DT）正作为一种基于 Transformer 的有前景的模型崭露头角。然而，我们发现 DT 的注意力模块并不适合捕捉被建模为马尔可夫决策过程的 RL 轨迹中固有的局部依赖模式。为克服 DT 的局限，我们提出了一种新颖的动作序列预测器，名为 Decision ConvFormer（DC），其基于 MetaFormer 架构，该架构是一种并行处理多个实体并理解多实体间相互关系的通用结构。DC 采用局部卷积滤波作为令牌混合器，能有效捕捉 RL 数据集的固有局部关联。在大量实验中，DC 在以更少资源消耗下于各类标准 RL 基准上取得了最先进性能。此外，我们表明 DC 能更好地理解数据中的潜在含义并展现出增强的泛化能力。
引用
@article{arxiv.2310.03022,
title = {Decision ConvFormer: Local Filtering in MetaFormer is Sufficient for Decision Making},
author = {Jeonghye Kim and Suyoung Lee and Woojun Kim and Youngchul Sung},
journal= {arXiv preprint arXiv:2310.03022},
year = {2024}
}
备注
Accepted to ICLR2024. Our code is available at https://beanie00.com/publications/dc