周期技能发现
机器学习
2025-12-01 v3 机器人学
摘要
无监督技能发现在强化学习(RL)中旨在不依赖外部奖励信号地学习多样化的行为。然而，当前方法往往忽视所学习技能的周期性，侧重于增加状态与技能之间的相互依赖性或最大化潜在空间中行进距离。考虑到许多机器人任务——尤其是涉及运动的任务——需要在不同时刻尺度上实现周期性行为，发现多样化周期技能对于捕捉这种本质至关重要。为此，我们提出周期技能发现(Periodic Skill Discovery, PSD)，一个以无监督方式发现周期性行为的框架。PSD 的核心思想是训练一个编码器，将状态映射到圆形潜在空间，从而在潜在表示中自然编码周期性。通过捕捉时间距离，PSD 能在复杂机器人任务中有效学习具有多样化周期的技能，即使仅使用像素级观察也能实现。我们进一步展示，这些所学技能在诸如跳关等下游任务上实现高性能。此外，将 PSD 与现有的技能发现方法集成可获得更加多样化的行为，从而拓宽了智能体的技能谱系。我们的代码和演示已在 https://jonghaepark.github.io/psd/ 上提供。
引用
@article{arxiv.2511.03187,
title = {Periodic Skill Discovery},
author = {Jonghae Park and Daesol Cho and Jusuk Lee and Dongseok Shim and Inkyu Jang and H. Jin Kim},
journal= {arXiv preprint arXiv:2511.03187},
year = {2025}
}
备注
NeurIPS 2025