有趣物体，好奇智能体：学习任务无关探索
机器学习
2021-11-29 v1
摘要
任务无关探索的常用方法从白板开始学习——智能体假设环境孤立且没有任何先验知识或经验。然而，在真实世界中，智能体在多个环境中学习，并且在探索新环境时总是带有先验经验。探索是一个终身过程。本文中，我们提出任务无关探索的 formulation（表述）与评估的范式改变。在此设定下，智能体首先以任务无关方式在无任何外在目标的情况下跨多个环境学习探索。之后，智能体将习得的探索策略有效迁移到解决任务时更好地探索新环境。在此背景下，我们评估了几种基线探索策略，并提出了一种简单而有效的学习任务无关探索策略的方法。我们的核心思想是探索由两部分组成：(1) 以智能体为中心的成分，基于智能体的信念鼓励探索环境中未见过部分；(2) 以环境为中心的成分，鼓励探索固有有趣物体。我们展示了我们的表述是有效的，并在若干训练-测试环境对上提供了最一致的探索。我们还引入了用于评估任务无关探索策略的基准与指标。源代码见 https://github.com/sparisi/cbet/。
引用
@article{arxiv.2111.13119,
title = {Interesting Object, Curious Agent: Learning Task-Agnostic Exploration},
author = {Simone Parisi and Victoria Dean and Deepak Pathak and Abhinav Gupta},
journal= {arXiv preprint arXiv:2111.13119},
year = {2021}
}
备注
Accepted at NeurIPS 2021