文本游戏中自然语言动作空间的最小化方法
机器学习
2023-12-01 v2 计算与语言
摘要
文本游戏（TGs）是基于语言、面向强化学习的交互式环境。尽管语言模型（LMs）和知识图谱（KGs）常用于处理文本游戏中的大规模动作空间，但尚不清楚这些技术是否必要或被过度使用。本文重新审视了文本游戏中动作空间探索的挑战，并提出了 -可采纳探索（一种在训练阶段利用可采纳动作的最小化方法）。此外，我们提出了一种基于文本的 actor-critic（TAC）智能体，仅根据游戏观测生成文本指令，无需任何 KG 或 LM。我们的方法在 Jericho 的 10 款游戏上平均优于使用 LM 和 KG 的强基线及 SOTA 智能体。我们的方法表明，更轻量的模型设计，辅以对环境内信息利用的新视角，足以有效探索指数级大的动作空间。
引用
@article{arxiv.2305.04082,
title = {A Minimal Approach for Natural Language Action Space in Text-based Games},
author = {Dongwon Kelvin Ryu and Meng Fang and Shirui Pan and Gholamreza Haffari and Ehsan Shareghi},
journal= {arXiv preprint arXiv:2305.04082},
year = {2023}
}