多频率基于种群的训练
机器学习
2025-07-18 v2 人工智能
神经与进化计算
摘要
强化学习对超参数的高度敏感性是不稳定和低效的根源，给从业者带来了重大挑战。目前已开发出超参数优化 (HPO) 算法来解决这一问题，其中基于种群的训练 (PBT) 因其能够生成超参数调度而非固定配置而脱颖而出。PBT 训练一组具有各自超参数的智能体种群，频繁对其进行排名，并用最优智能体的变异替换最差表现者。这些中间选择步骤可能导致 PBT 关注短期改进，使其陷入局部最优，并最终在较长时间尺度上落后于普通的随机搜索。本文研究了这种贪心问题与演化频率（即执行选择的速率）之间的联系。我们提出了多频率基于种群的训练 (MF-PBT)，这是一种新颖的 HPO 算法，通过采用以不同频率演化的子种群来解决贪心问题。MF-PBT 引入了迁移过程以在子种群之间传递信息，并采用非对称设计来平衡短期和长期优化。在 Brax 套件上的大量实验表明，即使不实际调整超参数，MF-PBT 也能提高样本效率和长期性能。
引用
@article{arxiv.2506.03225,
title = {Multiple-Frequencies Population-Based Training},
author = {Waël Doulazmi and Auguste Lehuger and Marin Toromanoff and Valentin Charraut and Thibault Buhet and Fabien Moutarde},
journal= {arXiv preprint arXiv:2506.03225},
year = {2025}
}
备注
RLC25 - Camera-ready