Continual World：面向持续强化学习的机器人基准
机器学习
2021-10-29 v3 人工智能
机器人学
摘要
持续学习（CL）——持续学习、在先前获取知识基础上构建的能力——是长寿命自主强化学习（RL）智能体的自然需求。在构建此类智能体时，需要平衡相互对立的期望，例如容量与计算的限制、避免灾难性遗忘的能力，以及在新任务上展现正向迁移的能力。理解正确的权衡在概念上和计算上都具有挑战性，我们认为这导致社区过度聚焦于灾难性遗忘。针对这些问题，我们主张需要优先考量前向迁移，并提出Continual World，一个构建于Meta-World之上、由真实且有意义地多样化的机器人任务组成的基准测试平台。在对现有CL方法进行深入实证评估后，我们指出了其局限性，并强调了RL设定中独特的算法挑战。我们的基准旨在为社区提供有意义且计算开销低的挑战，从而有助于更好地理解现有及未来解决方案的性能。有关该基准的信息，包括开源代码，可在 https://sites.google.com/view/continualworld 获取。
引用
@article{arxiv.2105.10919,
title = {Continual World: A Robotic Benchmark For Continual Reinforcement Learning},
author = {Maciej Wołczyk and Michał Zając and Razvan Pascanu and Łukasz Kuciński and Piotr Miłoś},
journal= {arXiv preprint arXiv:2105.10919},
year = {2021}
}
备注
NeurIPS 2021