人类对齐技能发现：平衡行为探索与对齐
机器学习
2025-01-30 v1 机器人学
摘要
无监督技能发现旨在模仿人类自主发现多样行为的能力。然而，现有方法往往缺乏约束，难以在复杂环境中发现有用的技能，所发现的技能常常不安全或不实用。我们通过提出人类对齐技能发现框架（Human-aligned Skill Discovery, HaSD），来解决此问题。该框架引入人类反馈，以发现更安全、更符合人类价值观的技能。HaSD 同时优化技能的多样性和与人类价值观的对齐性。这种方法确保在技能发现过程中保持对齐性，消除探索不对齐技能的低效问题。我们在 2D 导航和 SafetyGymnasium 环境中验证了其有效性，表明HaSD 能发现安全且符合人类价值观、且对下游任务有用的多样化技能。最后，我们扩展HaSD，通过学习一系列可配置的技能，实现多样性与对齐性之间的可调权衡，适用于实际场景。
引用
@article{arxiv.2501.17431,
title = {Human-Aligned Skill Discovery: Balancing Behaviour Exploration and Alignment},
author = {Maxence Hussonnois and Thommen George Karimpanal and Santu Rana},
journal= {arXiv preprint arXiv:2501.17431},
year = {2025}
}
备注
Accepted at the 24th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2025)