用于少样本模仿学习的重要性加权数据检索

尽管大规模机器人数据集推动了模仿学习的最新进展，但从较小的特定任务数据集中学习对于在新环境和未见任务中的部署仍然至关重要。少样本模仿学习的一种此类方法是基于检索的模仿学习，它从大型、广泛可用的先验数据集中提取相关样本以扩充有限的演示数据集。为了从先验数据集中确定相关数据，基于检索的方法最常计算先验数据点在潜在空间中与目标数据集中某点的最小距离。尽管基于检索的方法在使用该度量进行数据选择方面取得了成功，但我们证明了它等价于目标数据分布的高斯核密度（KDE）估计的极限。这揭示了先前工作中使用的检索规则的两个缺点。首先，它依赖于易受噪声影响的高方差最近邻估计。其次，它在检索数据时没有考虑先验数据的分布。为了解决这些问题，我们引入了重要性加权检索（IWR），它使用高斯 KDE 估计重要性权重，即用于检索的目标与先验数据分布的比率。通过考虑概率比，IWR 旨在减轻先前选择规则的偏差，并且通过使用合理的建模参数，IWR 利用所有数据点有效地平滑了估计。在仿真环境和 Bridge 数据集的真实世界评估中，我们发现我们的方法 IWR 持续提升了现有基于检索方法的性能，尽管只需要微小的修改。