基于人口搜索的第一阶与二阶优化器同步训练
机器学习
2024-09-05 v2 人工智能
摘要
强化学习(RL)中超参数的调谐至关重要,因为这些参数显著影响智能体的性能和学习效率。在训练过程中动态调整超参数可显著提升学习的性能和稳定性。人口搜索(PBT)通过持续调节超参数来实现这一点。这种持续调整使模型能够适应不同学习阶段,从而实现更快的收敛和整体性能的提升。本文提出了对PBT的一种改进,即在单个人口中同时利用第一阶和第二阶优化器。我们使用TD3算法在各种MuJoCo环境中进行了一系列实验。我们的结果首次经验性地证明了在基于PBT的强化学习中引入二阶优化器的潜力。具体而言,K-FAC优化器与Adam的组合相对于仅使用Adam的PBT在整体性能上提升了最高10%。此外,在Adam偶尔会失败的环境(如Swimmer环境)中,混合人口搭配K-FAC表现出更可靠的学习结果,在不显著增加计算时间的前提下,提供了显著的训练稳定性优势。
引用
@article{arxiv.2408.15421,
title = {Simultaneous Training of First- and Second-Order Optimizers in Population-Based Reinforcement Learning},
author = {Felix Pfeiffer and Shahram Eivazi},
journal= {arXiv preprint arXiv:2408.15421},
year = {2024}
}
备注
8 pages, 5 figures