语言智能体能替代 PPO 吗？基于 OpenAI Gym 的初步实证研究
人工智能
2023-12-07 v1 计算与语言
摘要
语言智能体在零样本或少样本决策中展现的强大能力，促使我们提出一个引人深思的问题：在传统序列决策任务中，语言智能体能否替代 PPO 智能体？为探究此问题，我们首先选取 OpenAI Gym 中的环境作为测试平台，并将其转化为文本环境，构建了 TextGym 模拟器。鉴于 OpenAI Gym 的广泛使用，这使得 PPO 智能体与语言智能体之间能够进行直接且高效的比较。为确保公平有效的基准测试，我们引入了 5 个场景级别以实现精确的领域知识控制，并为语言智能体设计了一个统一的、受强化学习启发的框架。此外，我们提出了一种创新的探索-利用引导式语言（EXE）智能体，用于解决 TextGym 中的任务。通过数值实验和消融研究，我们对语言智能体的决策能力获得了宝贵的见解，并对其在经典序列决策问题中替代 PPO 的潜力进行了初步评估。本文揭示了语言智能体的性能表现，并为这一激动人心领域的未来研究铺平了道路。我们的代码已公开于~\url{https://github.com/mail-ecnu/Text-Gym-Agents}。
引用
@article{arxiv.2312.03290,
title = {Can language agents be alternatives to PPO? A Preliminary Empirical Study On OpenAI Gym},
author = {Junjie Sheng and Zixiao Huang and Chuyun Shen and Wenhao Li and Yun Hua and Bo Jin and Hongyuan Zha and Xiangfeng Wang},
journal= {arXiv preprint arXiv:2312.03290},
year = {2023}
}