Transformer 在决策 Transformer 中有多关键？
机器学习
2022-11-29 v1 机器人学
摘要
决策 Transformer（DT）是最近提出的一种用于强化学习的架构，它将决策过程构建为自回归序列建模问题，并使用 Transformer 模型在状态、动作与奖励的序列中预测下一个动作。在本文中，我们分析了在连续控制任务上，Transformer 模型在完整 DT 架构中有多关键。具体而言，我们将 Transformer 替换为 LSTM 模型，同时保持其他部分不变，得到所谓的决策 LSTM 模型。我们在包括摆杆摆动与稳定在内的连续控制任务上，于仿真与物理硬件中将其与 DT 进行比较。我们的实验表明，DT 在倒立摆与 Furuta 摆稳定等连续控制问题上表现不佳。另一方面，所提出的决策 LSTM 除了在真实系统上学习到摆动控制器外，还能够在这些任务上达到专家级性能。这些结果表明，决策 Transformer 在连续控制任务上的优势可能在于整体的序列建模架构，而非 Transformer 本身。
引用
@article{arxiv.2211.14655,
title = {How Crucial is Transformer in Decision Transformer?},
author = {Max Siebenborn and Boris Belousov and Junning Huang and Jan Peters},
journal= {arXiv preprint arXiv:2211.14655},
year = {2022}
}
备注
9 pages, 6 figures, Foundation Models for Decision Making Workshop at Neural Information Processing Systems, 2022