通过嵌入示范数据集搜索实现行为克隆
人工智能
2023-06-16 v1
摘要
行为克隆利用示范数据集来学习行为策略。为克服各种学习与策略适配问题，我们提出使用潜空间来索引示范数据集，即时获取相似的相关经验，并从这些情境中复制行为。来自所选相似情境的动作可由智能体执行，直至智能体当前情境与所选经验的表征在潜空间中发散。因此，我们将控制问题表述为对专家示范数据集的搜索问题。我们在 BASALT MineRL 数据集上以 Video PreTraining 模型的潜表征测试了我们的方法。我们将我们的模型与现有最优（SOTA）的 Minecraft 智能体进行比较。我们的方法能有效恢复有意义的示范，并在多种情境中展现 Minecraft 环境中智能体类人的行为。实验结果表明，我们基于搜索的方法性能可与训练模型相媲美，同时可通过更换示范样本实现零样本任务适配。
引用
@article{arxiv.2306.09082,
title = {Behavioral Cloning via Search in Embedded Demonstration Dataset},
author = {Federico Malato and Florian Leopold and Ville Hautamaki and Andrew Melnik},
journal= {arXiv preprint arXiv:2306.09082},
year = {2023}
}