通过目标生成将语言接地到自主习得的技能
人工智能
2021-01-26 v3 机器学习
机器学习
摘要
我们关注技能库的自主习得。语言条件强化学习(LC-RL)方法是此项探索中的有力工具,因为它们允许将抽象目标表达为对状态的一组约束。然而,大多数LC-RL智能体并非自主的,无法在没有外部指令和反馈的情况下学习。此外,它们的直接语言条件无法解释前语言期婴儿的目标导向行为,并严重限制了给定语言输入下行为多样性的表达。为解决这些问题,我们提出一种语言条件RL的新概念方法:语言-目标-行为架构(LGB)。LGB通过世界的中间语义表示解耦技能学习与语言接地。为展示LGB的特性,我们提出一个名为DECSTR的具体实现。DECSTR是一个内在动机驱动的学习智能体,具备描述物理对象间空间关系的先天语义表示。在第一阶段(G -> B),它自由探索环境并瞄准自生成的语义构型。在第二阶段(L -> G),它训练一个语言条件目标生成器,以生成匹配基于语言的输入中所表达约束的语义目标。我们展示了LGB相对于端到端LC-RL方法以及利用非语义连续中间表示的类似方法的额外特性。中间语义表示有助于以多样方式满足语言指令、在失败后实现策略切换并促进语言接地。
引用
@article{arxiv.2006.07185,
title = {Grounding Language to Autonomously-Acquired Skills via Goal Generation},
author = {Ahmed Akakzia and Cédric Colas and Pierre-Yves Oudeyer and Mohamed Chetouani and Olivier Sigaud},
journal= {arXiv preprint arXiv:2006.07185},
year = {2021}
}
备注
Published at ICLR 2021