随经验增长：深度强化学习中的增长神经网络
机器学习
2025-06-16 v1
摘要
尽管越来越大的模型已革新了机器学习的许多领域，但在强化学习（RL）中训练即使是中等规模的网络仍然是一项挑战。这严重限制了我们能够学习的策略的复杂度。为了在保持网络可训练性的同时增加网络容量，我们提出了 GrowNN，一种利用训练过程中渐进式网络增长的简单而有效的方法。我们从训练一个小网络来学习初始策略开始。然后在不改变编码函数的情况下添加层。随后的更新可以利用新增层来学习更具表达力的策略，随着策略复杂度的增加而扩展容量。GrowNN 可以无缝集成到大多数现有的 RL 智能体中。我们在 MiniHack 和 Mujoco 上的实验表明，智能体性能得到了提升，渐进式 GrowNN 深度网络在 MiniHack Room 上以高达 48%、在 Ant 上以高达 72% 的优势超越了同等规模的静态对应网络。
引用
@article{arxiv.2506.11706,
title = {Growing with Experience: Growing Neural Networks in Deep Reinforcement Learning},
author = {Lukas Fehring and Marius Lindauer and Theresa Eimer},
journal= {arXiv preprint arXiv:2506.11706},
year = {2025}
}
备注
3 pages