具有非平稳相互依赖关系的任务之自主开放式学习
机器学习
2022-05-17 v1 人工智能
机器人学
摘要
自主开放式学习是机器学习与机器人学中的一种重要方法，可用于设计能够在无需用户指定任务的情况下自主获取目标与运动技能的人工智能体。该方法的一个关键问题在于制定策略，以确保智能体能在尽可能短的时间内最大化其在尽可能多任务上的能力。内在动机已被证明能够生成与任务无关的信号，从而在各个目标间合理分配训练时间。尽管内在动机驱动的开放式学习领域多数研究聚焦于目标彼此独立的场景，仅有少数工作研究了相互依赖任务的自主习得，而探讨目标涉及非平稳相互依赖关系场景的则更少。在先前工作基础上，我们在决策层面（即构建合理选择目标的策略）应对这些关键问题，并提出一种分层架构，该架构将子任务选择视为马尔可夫决策过程，能够基于内在生成的动机恰当学习相互依赖的技能。具体而言，我们首先深化了对先前系统的分析，揭示了在架构更高层（目标选择层）纳入任务间关系信息的重要性。随后我们引入 H-GRAIL，一种新系统，其通过增加新的学习层来储存自主获取的任务序列，从而在相互依赖关系非平稳时修改这些序列。所有系统均在真实机器人场景中测试，由 Baxter 机器人执行多个相互依赖的到达任务。
引用
@article{arxiv.2205.07562,
title = {Autonomous Open-Ended Learning of Tasks with Non-Stationary Interdependencies},
author = {Alejandro Romero and Gianluca Baldassarre and Richard J. Duro and Vieri Giuliano Santucci},
journal= {arXiv preprint arXiv:2205.07562},
year = {2022}
}
备注
Submitted and accepted to "The Multi-disciplinary Conference on Reinforcement Learning and Decision Making" RLDM 2022