自主发现目标空间以学习参数化技能
人工智能
2018-05-22 v1
摘要
参数化技能是从多个目标/任务参数到完成这些目标的策略参数的映射。已有文献展示了在给定定义所有可实现目标的可能任务空间时,如何学习参数化技能。本文关注以最终状态(目标)定义的任务,并面对如下挑战:智能体旨在自主获取参数化技能以操控最初未知的环境。此时任务空间并非先验已知,智能体必须自主发现它。智能体可将自身全部感知空间(即所有可能传感器读数的空间)假定为任务空间,因为可实现目标必然是该空间的一个子集。然而,可实现目标空间相对于整个感知空间可能只是一个极小的子空间,因此直接将传感器空间用作任务空间会使智能体陷入维数灾难,并令现有自主技能获取算法效率低下。本文提出一种在传感器空间内主动发现可实现目标流形的算法。我们通过在多个不同模拟场景中应用该算法来验证之,其中智能体动作实现了不同类型目标:移动冗余机械臂、推动物体以及改变物体颜色。
引用
@article{arxiv.1805.07547,
title = {Autonomous discovery of the goal space to learn a parameterized skill},
author = {Emilio Cartoni and Gianluca Baldassarre},
journal= {arXiv preprint arXiv:1805.07547},
year = {2018}
}