多任务、上下文依赖任务的自主学
机器人学
2020-11-30 v1 机器学习
摘要
当面对利用强化学习系统自主学多个任务的问题时，研究者通常聚焦于仅需每个任务一个参数化策略即可解决的方案。然而，在呈现不同上下文的复杂环境中，同一任务可能需要一组不同技能才能解决。这些情形带来两个挑战：(a) 识别需要不同策略的不同上下文；(b) 快速学习策略以在新发现的上下文中完成相同任务。若处于开放式学习框架中——智能体须自主发现其在给定环境中可能完成的目标，并学习完成它们的运动技能——这两个挑战则更难应对。我们提出一种新颖的开放式学习机器人架构 C-GRAIL，以集成方式解决这两个挑战。具体而言，该架构能基于给定目标期望性能的下降检测新的相关上下文，并忽略不相关者。此外，架构可通过利用迁移学习从已习得策略导入知识，快速学习新上下文的策略。该架构在一个模拟机器人环境中测试，其中机器人自主学在多个障碍物生成若干不同障碍的情况下到达相关目标物体。所提架构优于未使用所提自主上下文发现与迁移学习机制的其他模型。
引用
@article{arxiv.2011.13847,
title = {Autonomous learning of multiple, context-dependent tasks},
author = {Vieri Giuliano Santucci and Davide Montella and Bruno Castro da Silva and Gianluca Baldassarre},
journal= {arXiv preprint arXiv:2011.13847},
year = {2020}
}