面向实时战略游戏的集成式终身强化学习智能体系统设计
机器学习
2022-12-12 v1 人工智能
摘要
随着人工智能与机器人系统日益部署并依赖于现实世界应用，它们必须展现出在动态变化环境中持续学习与适应的能力，成为终身学习机器。持续/终身学习（LL）涉及在最小化对旧任务的灾难性遗忘的同时最大化模型学习新任务的能力。本文探讨具有挑战性的终身强化学习（L2RL）设定。推动 L2RL 前沿发展并使其服务于实际应用，不仅需要开发单独的 L2RL 算法，更需要在系统层面取得进展，尤其是研究如何将多种 L2RL 算法集成至通用框架这一非平凡问题。本文我们引入终身强化学习组件框架（L2RLCF），其标准化了 L2RL 系统并将不同的持续学习组件（各自解决终身学习的不同方面）同化入统一系统。作为 L2RLCF 的实例，我们开发了标准 API 以便轻松集成新型终身学习组件。我们描述了一个案例研究，展示多个独立开发的 LL 组件如何集成至单一已实现系统中。我们还引入了评估环境以衡量组合各种系统组件的效果。我们的评估环境采用由 Starcraft-2 小游戏构成的不同 LL 场景（任务序列），并允许在具有挑战性的通用评估环境中对不同组件组合进行公平、全面和定量的比较。
引用
@article{arxiv.2212.04603,
title = {System Design for an Integrated Lifelong Reinforcement Learning Agent for Real-Time Strategy Games},
author = {Indranil Sur and Zachary Daniels and Abrar Rahman and Kamil Faber and Gianmarco J. Gallardo and Tyler L. Hayes and Cameron E. Taylor and Mustafa Burak Gurbuz and James Smith and Sahana Joshi and Nathalie Japkowicz and Michael Baron and Zsolt Kira and Christopher Kanan and Roberto Corizzo and Ajay Divakaran and Michael Piacentino and Jesse Hostetler and Aswin Raghavan},
journal= {arXiv preprint arXiv:2212.04603},
year = {2022}
}
备注
The Second International Conference on AIML Systems, October 12--15, 2022, Bangalore, India