多目标强化学习的超参数优化
机器学习
2023-10-26 v1
摘要
强化学习（RL）已成为解决复杂问题的一种强大方法。近来引入的多目标强化学习（MORL）使智能体能够在多个目标之间进行权衡，进一步拓展了RL的应用范围。这一进展不仅拓宽了可解决问题的值域，也创造了大量探索与 advancement 的机会。然而，RL智能体的有效性高度依赖于对其超参数的恰当设置。在实践中，这项任务往往颇具挑战，导致这些技术在不同实例中的部署失败。因此，先前的研究已探索RL中的超参数优化以应对该问题。本文针对MORL特有的超参数优化挑战进行了初步研究。我们形式化了该问题，强调了其独特挑战，并提出了一种系统性方法来解决它。所提方法被应用于一个知名环境，使用最先进的MORL算法，并报告了初步结果。我们的发现表明，所提方法能有效提供显著增强MORL智能体性能的超参数配置。此外，本研究指出了多种未来研究机会，以进一步推动MORL超参数优化领域的发展。
引用
@article{arxiv.2310.16487,
title = {Hyperparameter Optimization for Multi-Objective Reinforcement Learning},
author = {Florian Felten and Daniel Gareev and El-Ghazali Talbi and Grégoire Danoy},
journal= {arXiv preprint arXiv:2310.16487},
year = {2023}
}
备注
Presented at the MODeM workshop https://modem2023.vub.ac.be/#