AMPED：用于平衡探索与技能多样性的自适应多目标投影
机器学习
2026-03-17 v5 人工智能
摘要
基于技能的强化学习（SBRL）通过预训练技能条件策略，在奖励稀疏的环境中实现快速适应。有效的技能学习需要同时最大化探索和技能多样性。然而，现有方法常面临在同时优化这两个相冲突目标方面的挑战。本文提出一种新方法，称为自适应多目标投影用于平衡探索与技能多样性（AMPED），该方法明确地解决了这两个问题：在预训练期间，梯度手术投影平衡探索和多样性梯度；在微调期间，技能选择器利用所学多样性，通过选择适合下游任务的技能来实现 exploitation。我们的做法在各种基准测试中实现了超过SBRL基线的性能。通过对AMPED进行的广泛消融研究，我们识别了每个组件的作用，证明了AMPED中每个元素都对性能有所贡献。我们进一步提供了理论和实证证据表明，随着贪心技能选择器，更大的技能多样性会降低微调样本复杂度。这些结果突显了在探索和多样性之间显式调和的重要性，并证明了AMPED在实现稳健和可通用技能学习方面的有效性。项目页面：https://geonwoo.me/amped/
引用
@article{arxiv.2506.05980,
title = {AMPED: Adaptive Multi-objective Projection for balancing Exploration and skill Diversification},
author = {Geonwoo Cho and Jaemoon Lee and Jaegyun Im and Subi Lee and Jihwan Lee and Sundong Kim},
journal= {arXiv preprint arXiv:2506.05980},
year = {2026}
}
备注
ICLR 2026