用于探索的自组织分层表示的渐进式生长
机器学习
2020-05-14 v1 人工智能
机器学习
摘要
设计能够在未知变化环境中自主发现并学习多样结构和技能的智能体是终身机器学习的关键。一个核心挑战是如何增量式地学习表示，以逐步构建已发现结构的地图并重用它来进一步探索。为应对这一挑战，我们明确并针对若干关键功能。首先，我们旨在构建持久表示并避免探索过程中的灾难性遗忘。其次，我们旨在学习多样的表示，以在复杂高维环境中发现结构的“多样性的多样性”（及关联技能）。第三，我们面向能够以由粗到细方式结构化智能体发现的表示。最后，我们面向重用此类表示以将探索驱动向“有趣”类型的多样性，例如利用人类引导。当前状态表示学习的方法通常依赖单体架构，无法实现所有这些功能。因此，我们提出一种渐进式构建用于探索分层的观测潜在模型层次（称为 HOLMES）的新技术。该技术将用于表示学习的动态模块化模型架构与内在动机目标探索过程（IMGEPs）相结合。本文展示了在自动发现多样自组织模式的领域中的结果，以 Reinke 等人（2019）的实验框架作为测试平台。
引用
@article{arxiv.2005.06369,
title = {Progressive growing of self-organized hierarchical representations for exploration},
author = {Mayalen Etcheverry and Pierre-Yves Oudeyer and Chris Reinke},
journal= {arXiv preprint arXiv:2005.06369},
year = {2020}
}