高效层次化强化学习的解缠无监督技能发现
机器学习
2024-10-16 v1 机器人学
摘要
智能体具备仅通过与环境无监督互动即可学习可重用技能的能力是其智能标志。然而,现有无监督技能发现方法往往学习出缠排的技能,即单个技能变量同时影响环境中的多个实体,这使得后续技能链的构建极具挑战性。我们提出Disentangled Unsupervised Skill Discovery(DUSDi),一种用于学习解缠技能以高效重用的方法。DUSDi将技能分解为解缠组件,每个技能组件仅影响状态空间的一个因子。重要的是,这些技能组件可以并行组合以生成低层动作,并通过层次化强化学习高效地链接以解决后续任务。DUSDi定义一种新型的互信息基于目标,以强制实现不同技能组件影响之间的解缠,并利用价值分解来高效优化该目标。在一组具有挑战性的环境中进行评估,DUSDi成功地学习了解缠技能,并在将所学技能应用于解决后续任务方面显著优于先前技能发现方法。代码和技能可视化请访问 jiahenghu.github.io/DUSDi-site/
引用
@article{arxiv.2410.11251,
title = {Disentangled Unsupervised Skill Discovery for Efficient Hierarchical Reinforcement Learning},
author = {Jiaheng Hu and Zizhao Wang and Peter Stone and Roberto Martín-Martín},
journal= {arXiv preprint arXiv:2410.11251},
year = {2024}
}
备注
NeurIPS2024