无监督层次技能发现
机器学习
2026-05-29 v2 形式语言与自动机理论
摘要
我们考虑无监督技能分割和强化学习中层次结构发现的问题。虽然最近的研究方法试图将轨迹分割为可重用技能或选项，但大多数方法依赖动作标签、奖励或手工标注，限制了其适用性。我们提出了一种方法，通过语法化方法将未标记的轨迹分割为技能并在其上诱导出层次结构。 resulting hierarchy 捕获了低层行为及其组合成更高级技能的结构。我们在高维、基于像素的环境中评估了该方法，包括 Craftax 和完整未修改的 Minecraft。使用用于技能分割、复用和层次质量的指标，我们发现该方法在结构和语义上比现有基线更具意义的层次。 Furthermore, as a proof of concept, we demonstrate that these discovered hierarchies accelerate and stabilise learning on downstream reinforcement learning tasks.
引用
@article{arxiv.2601.23156,
title = {Unsupervised Hierarchical Skill Discovery},
author = {Damion Harvey and Geraud Nangue Tasse and Benjamin Rosman and Branden Ingram and Steven James},
journal= {arXiv preprint arXiv:2601.23156},
year = {2026}
}
备注
Accepted to ICML 2026. 27 pages. 15 figures