规划目标即时路标以实现智能体间无模型技能迁移
人工智能
2022-12-20 v1
摘要
在机器人等强化学习应用中，智能体通常需要处理各种输入/输出特征，这些特征由其开发者或物理限制指定为不同的状态/动作空间。这意味着需要从头开始进行不必要的重新训练，并导致显著的样本效率低下，尤其是当智能体遵循相似的解决步骤来完成任务时。在本文中，我们旨在迁移相似的高层目标转移知识以缓解这一挑战。具体来说，我们提出了 PILoT，即规划目标即时路标（Planning Immediate Landmarks of Targets）。PILoT 利用通用解耦策略优化来学习一个以目标为条件的状态规划器；然后，提炼出一个目标规划器，以无模型的方式规划可在不同智能体间共享的即时路标。在我们的实验中，我们展示了 PILoT 在各种迁移挑战中的能力，包括跨动作空间和动力学的少样本迁移、从低维向量状态到图像输入的迁移、从简单机器人到复杂形态的迁移；我们还展示了一个从简单 2D 导航任务到更困难的 Ant-Maze 任务的零样本迁移解决方案。
引用
@article{arxiv.2212.09033,
title = {Planning Immediate Landmarks of Targets for Model-Free Skill Transfer across Agents},
author = {Minghuan Liu and Zhengbang Zhu and Menghui Zhu and Yuzheng Zhuang and Weinan Zhang and Jianye Hao},
journal= {arXiv preprint arXiv:2212.09033},
year = {2022}
}