用于强化学习中知识存储与迁移的自组织映射
人工智能
2022-09-28 v1
摘要
复用或迁移先前所学任务（源任务）的信息以用于新任务（目标任务）学习的思想，有潜力显著提升强化学习智能体的样本效率。本工作中，我们描述了一种复用已获取知识的新方法，即利用该知识在智能体学习新任务时引导其探索。为此，我们采用一种增长式自组织映射算法的变体，其使用直接在值函数向量化表示空间中定义的相似性度量进行训练。除实现跨任务迁移外，所得映射同时用于以自适应且可扩展的方式高效存储已获取的任务知识。我们在模拟导航环境中对该方法进行经验验证，并通过移动微机器人平台的简单实验展示其实用性。此外，我们展示了该方法的可扩展性，并解析考察其与所提网络增长机制的关系。进一步，我们简要讨论该方法的一些可能改进与扩展，以及其在持续学习背景下与现实场景的相关性。
引用
@article{arxiv.1811.08318,
title = {Self-Organizing Maps for Storage and Transfer of Knowledge in Reinforcement Learning},
author = {Thommen George Karimpanal and Roland Bouffanais},
journal= {arXiv preprint arXiv:1811.08318},
year = {2022}
}
备注
35 pages, 11 figures, Accepted in the journal Adaptive Behavior. arXiv admin note: substantial text overlap with arXiv:1807.07530