模拟世界中的自进化模仿学习
机器人学
2025-09-25 v1 人工智能
机器学习
摘要
模仿学习近来已成为一种趋势，然而训练一个跨多任务的通用智能体仍需要大规模专家演示，这些演示的收集成本高昂且耗费人力。为解决监督有限的挑战，我们提出自进化模仿学习（SEIL）框架，该框架通过与模拟器交互逐步改进少样本模型。模型首先在模拟器中尝试任务，从中收集成功轨迹作为新的演示，用于迭代优化。为增强这些演示的多样性，SEIL 采用双层增强：(i) 模型层面，使用指数移动平均（EMA）模型与主模型协作；(ii) 环境层面，在初始物体位置引入微小变化。我们进一步引入一个轻量级选择器，从生成的轨迹池中筛选出互补且信息丰富的轨迹，以确保演示质量。这些精心筛选的样本使模型能够以极少的训练样本达到有竞争力的性能。在 LIBERO 基准上的大量实验表明，SEIL 在少样本模仿学习场景中达到了新的最先进性能。代码见 https://github.com/Jasper-aaa/SEIL.git。
引用
@article{arxiv.2509.19460,
title = {Self-evolved Imitation Learning in Simulated World},
author = {Yifan Ye and Jun Cen and Jing Chen and Zhihe Lu},
journal= {arXiv preprint arXiv:2509.19460},
year = {2025}
}