重访文本游戏中“文本”的角色
计算与语言
2022-10-18 v1 机器学习
摘要
文本游戏为自然语言理解（NLU）方法应对强化学习（RL）挑战提供了机会。然而，近期研究通过展示随机文本哈希可取得尚可表现，质疑了 NLU 的必要性。本文中，我们针对不同的 RL 挑战细致考察文本所起的作用，并调和如下观点：语义与非语义语言表示可能是互补而非对立的。具体而言，我们提出一种简单方案，将相关上下文信息提取为近似状态哈希，作为基于 RNN 的文本智能体的额外输入。这一轻量级插件取得了与采用知识图和段落检索等先进 NLU 技术的顶尖文本智能体相竞争的性能，表明非 NLU 方法或足以应对部分可观测性挑战。然而，若移除 RNN 编码器并仅使用近似甚至真实状态哈希，模型表现糟糕，这确认了语义函数逼近在应对组合爆炸的观测与动作空间挑战方面的重要性。我们的发现与分析为设计更好的文本游戏任务设置与智能体提供了新见解。
引用
@article{arxiv.2210.08384,
title = {Revisiting the Roles of "Text" in Text Games},
author = {Yi Gu and Shunyu Yao and Chuang Gan and Joshua B. Tenenbaum and Mo Yu},
journal= {arXiv preprint arXiv:2210.08384},
year = {2022}
}