语言引导的技能发现
计算与语言
2025-03-04 v2 人工智能
机器学习
机器人学
摘要
技能发现方法使智能体能够在没有明确奖励的情况下学习多样化的涌现行为。为了使所学技能对未知下游任务有用，获取语义多样化的技能库至关重要。虽然一些方法引入判别器来区分技能，另一些方法则致力于增加状态覆盖率，但现有工作没有直接解决技能的"语义多样性"问题。我们假设，利用大型语言模型 (LLM) 的语义知识可以提升所得行为的语义多样性。在此意义上，我们引入 Language Guided Skill Discovery (LGSD)，一个旨在直接最大化技能之间语义多样性的技能发现框架。LGSD 接受用户提示作为输入，并输出一组在语义上具有差异性的技能。这些提示作为约束搜索空间进入语义期望子空间的手段，生成的 LLM 输出引导智能体在子空间内访问语义上多样化的状态。我们演示了 LGSD 使四足机器人仅通过更改提示即可访问平面上的不同用户意图区域。 Furthermore, 我们表明语言引导在机器人臂操作环境中比五个现有技能发现方法更能发现更具多样性的技能。最后，LGSD 提供了一种通过自然语言利用所学技能的简单方式。
引用
@article{arxiv.2406.06615,
title = {Language Guided Skill Discovery},
author = {Seungeun Rho and Laura Smith and Tianyu Li and Sergey Levine and Xue Bin Peng and Sehoon Ha},
journal= {arXiv preprint arXiv:2406.06615},
year = {2025}
}