MRS：用于分层强化学习智能体的多分辨率技能
人工智能
2026-04-22 v2 机器学习
机器人学
摘要
分层强化学习（HRL）将策略分解为管理者和工作者，实现了长时程规划，但在需要敏捷性的任务上引入了性能差距。我们找出了根本原因：在基于子目标的 HRL 中，管理者的目标表示通常在没有任何关于可达性或距当前状态时间距离的约束下进行学习，阻碍了精确的局部子目标选择。我们进一步表明，最优的子目标距离既依赖于任务也依赖于状态：附近的子目标能够实现精确控制但会放大预测噪声，而远处的子目标以牺牲几何精度为代价产生更平滑的运动。我们提出了多分辨率技能，它学习多个目标预测模块，每个模块专门针对固定的时间跨度，并配有一个联合训练的元控制器，根据当前状态在它们之间进行选择。MRS 在 DeepMind Control Suite、Gym-Robotics 和长时程 AntMaze 任务上始终优于固定分辨率的基线，并显著缩小了 HRL 与非 HRL 最先进技术之间的性能差距。[项目页面：https://sites.google.com/view/multi-res-skills/home]
引用
@article{arxiv.2505.21410,
title = {MRS: Multi-Resolution Skills for HRL Agents},
author = {Shashank Sharma and Janina Hoffmann and Vinay Namboodiri},
journal= {arXiv preprint arXiv:2505.21410},
year = {2026}
}