从多样化行为中模仿：基于单步归档探索的Wasserstein质量多样性模仿学习
机器学习
2025-04-07 v2 人工智能
摘要
从有限的演示中学习多样且高性能的行为是一项重大挑战。传统模仿学习方法通常无法完成此任务，因为它们大多被设计为即使在多个演示的情况下也只学习一种特定行为。因此，需要新型的技术——质量多样性模仿学习，以桥接质量多样性优化与模仿学习方法。本工作提出了 Wasserstein 质量多样性模仿学习（WQDIL），它 1) 通过基于 Wasserstein 自编码器（WAE）的潜在对抗训练提高了质量多样性设定下模仿学习的稳定性，2) 通过使用单步归档探索奖励的测度条件奖励函数缓解了行为过拟合问题。在经验上，我们的方法显著优于最先进的模仿学习方法，在源自 MuJoCo 环境的具有挑战性的连续控制任务上实现了接近专家甚至超越专家的 QD 性能。
引用
@article{arxiv.2411.06965,
title = {Imitation from Diverse Behaviors: Wasserstein Quality Diversity Imitation Learning with Single-Step Archive Exploration},
author = {Xingrui Yu and Zhenglin Wan and David Mark Bossens and Yueming Lyu and Qing Guo and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2411.06965},
year = {2025}
}