单机上的快速群体强化学习
机器学习
2022-06-20 v1 人工智能
神经与进化计算
摘要
训练智能体群体在强化学习中已展现出巨大潜力，可用于稳定训练、改善探索与渐近性能，并生成多样化的解集。然而，基于群体的训练通常不被实践者考虑，因为它被认为要么速度过慢（当顺序执行时），要么计算成本过高（若智能体在独立加速器上并行训练）。在这项工作中，我们比较了不同的实现方式，并重新审视了先前的研究，以表明通过明智地使用编译与向量化技术，可以在配备单个加速器的单台机器上执行群体训练，且与训练单个智能体相比开销极小。我们还表明，当提供少量加速器时，我们的方案可扩展至大规模群体，用于超参数调优等应用。我们希望这项工作及其代码的公开发布能鼓励实践者在研究和应用中更频繁地使用群体学习。
引用
@article{arxiv.2206.08888,
title = {Fast Population-Based Reinforcement Learning on a Single Machine},
author = {Arthur Flajolet and Claire Bizon Monroc and Karim Beguir and Thomas Pierrot},
journal= {arXiv preprint arXiv:2206.08888},
year = {2022}
}