面向交互式文本环境的带指数倾斜的语言决策Transformer
计算与语言
2023-11-21 v2 人工智能
机器学习
摘要
基于文本的游戏环境具有挑战性，因为智能体必须处理长文本序列、使用文本执行组合动作并从稀疏奖励中学习。我们通过提出语言决策Transformer（LDTs）来解决这些挑战，该框架基于Transformer语言模型和决策Transformer（DTs）。我们的LDT在DT基础上扩展了3个组件：(1) 指数倾斜，用于将智能体引导至可获取的高目标；(2) 新颖的目标条件化方法，其效果优于传统的return-to-go（所有未来奖励之和）；(3) 未来观测模型，可提升智能体性能。LDT首次在这些具有挑战性的游戏上通过DT解决离线强化学习问题。我们的实验表明，在一些最具挑战性的Jericho游戏（如Enchanter）上，LDT在多种不同类型的智能体中取得了最高分数。
引用
@article{arxiv.2302.05507,
title = {Language Decision Transformers with Exponential Tilt for Interactive Text Environments},
author = {Nicolas Gontier and Pau Rodriguez and Issam Laradji and David Vazquez and Christopher Pal},
journal= {arXiv preprint arXiv:2302.05507},
year = {2023}
}
备注
19 pages, 6 figures, 5 tables