神经进化在迁移学习任务中何时优于强化学习？
机器学习
2025-05-30 v1
摘要
持续且高效地跨任务迁移技能是生物智能的标志，也是人工系统的长期目标。强化学习（RL）作为高维控制任务学习的主导范式，已知存在对任务变化脆弱以及灾难性遗忘的问题。神经进化（NE）近期因其鲁棒性、可扩展性以及逃离局部最优的能力而受到关注。在本文中，我们研究了 NE 一个未被充分探讨的维度：其迁移学习能力。为此，我们引入了两个基准：a）在 stepping gates 中，神经网络的任务是模拟逻辑电路，其设计强调模块化重复与变化；b）ecorobot 扩展了 Brax 物理引擎，增加了墙壁和障碍物等对象，并具备在不同机器人形态之间轻松切换的能力。这两个基准的关键在于设置了课程学习，使得能够评估在复杂度递增的任务之间的技能迁移。我们的实证分析表明，NE 方法在迁移能力上存在差异，且经常优于 RL 基线。我们的发现支持了 NE 作为构建更具适应性智能体基础的潜力，并突出了将 NE 扩展至复杂现实问题的未来挑战。
引用
@article{arxiv.2505.22696,
title = {When Does Neuroevolution Outcompete Reinforcement Learning in Transfer Learning Tasks?},
author = {Eleni Nisioti and Joachim Winther Pedersen and Erwan Plantec and Milton L. Montero and Sebastian Risi},
journal= {arXiv preprint arXiv:2505.22696},
year = {2025}
}