信息最大化课程：一种基于课程学习模仿多样技能的框架
机器学习
2023-11-01 v2
摘要
模仿学习利用数据训练策略以解决复杂任务。然而，当训练数据来自人类演示者时，由于人类动作的变异性，常导致多峰分布。大多数模仿学习方法依赖最大似然（ML）目标来学习参数化策略，但由于ML目标的模式平均特性，这可能导致次优或不安全的行为。本工作中，我们提出信息最大化课程，一种基于课程学习的方法，为每个数据点分配权重并鼓励模型专注于其能够表征的数据，通过允许模型忽略其无法表征的模式中的数据，有效缓解模式平均问题。为覆盖所有模式从而启用多样行为，我们将方法扩展至混合专家（MoE）策略，其中每个混合分量选择自身的训练数据子集进行学习。提出一种基于最大熵的新目标以实现对数据集的完全覆盖，从而使策略涵盖数据分布内的所有模式。我们在使用多样人类演示的复杂模拟控制任务上展示了方法的有效性，相比最先进方法取得了更优性能。
引用
@article{arxiv.2303.15349,
title = {Information Maximizing Curriculum: A Curriculum-Based Approach for Imitating Diverse Skills},
author = {Denis Blessing and Onur Celik and Xiaogang Jia and Moritz Reuss and Maximilian Xiling Li and Rudolf Lioutikov and Gerhard Neumann},
journal= {arXiv preprint arXiv:2303.15349},
year = {2023}
}