无单元潜空间 Go-Explore
机器学习
2023-04-28 v3 人工智能
摘要
本文中，我们引入潜空间 Go-Explore（Latent Go-Explore, LGE），一种基于 Go-Explore 范式用于强化学习（RL）中探索的简单通用方法。Go-Explore 最初引入时带有将状态空间划分为单元的强领域知识约束。然而，在大多数真实场景中，从原始观测提取领域知识复杂且繁琐。若单元划分信息量不足，Go-Explore 可能完全无法探索环境。我们认为 Go-Explore 方法可通过利用学习的潜表示推广到任何环境，且无领域知识、无单元。因此，我们展示 LGE 可灵活结合任意学习潜表示的策略。我们的结果表明，尽管比 Go-Explore 更简单，LGE 更鲁棒，并在包括蒙特祖玛的复仇在内的多个难探索环境上以纯探索指标优于 SOTA 算法。LGE 实现作为开源发布于 https://github.com/qgallouedec/lge。
引用
@article{arxiv.2208.14928,
title = {Cell-Free Latent Go-Explore},
author = {Quentin Gallouédec and Emmanuel Dellandréa},
journal= {arXiv preprint arXiv:2208.14928},
year = {2023}
}
备注
Proceedings of the International Conference on Machine Learning, 2023