LeDeepChef：面向文本游戏族的深度强化学习智能体
机器学习
2019-09-05 v1 人工智能
机器学习
摘要
尽管强化学习（RL）方法近年来在多个领域取得了显著成就，但由于自然语言任务的组合性与组合爆炸特性使其以难以优化而著称，此类任务基本未受影响。随着文本游戏（TBGs）这一新兴领域的出现，研究者试图弥合这一鸿沟。受 RL 算法在 Atari 游戏上成功的启发，其思路是在受限的游戏世界中开发新方法，随后逐步迁移到更复杂的环境。此前 TBGs 领域的工作主要集中于解决单个游戏。然而，我们考虑设计一种不仅能在单一游戏中成功、而且能在共享同一主题的整族游戏中表现良好的智能体。本工作中，我们提出了深度 RL 智能体——LeDeepChef——它展示出对同族中前所未见、具有不同环境与任务描述的游戏的泛化能力。该智能体参与了微软研究院的“首届 TextWorld 问题：语言与强化学习挑战赛”，并在最终测试集上仅次于一名竞争者。挑战赛中的游戏均共享同一主题，即在现代家庭环境中烹饪，但在房间布局、呈现物体以及具体目标（需烹饪的食谱）上差异显著。为构建在整族游戏中获高分的智能体，我们采用 actor-critic 框架，并利用分层强化学习的思想和在食谱数据库上训练的专业模块来剪枝动作空间。
引用
@article{arxiv.1909.01646,
title = {LeDeepChef: Deep Reinforcement Learning Agent for Families of Text-Based Games},
author = {Leonard Adolphs and Thomas Hofmann},
journal= {arXiv preprint arXiv:1909.01646},
year = {2019}
}