基于状态边缘匹配的高效探索
机器学习
2020-03-02 v3 人工智能
机器人学
机器学习
摘要
探索对强化学习智能体在给定环境中的表现至关重要。先前的探索方法通常基于启发式辅助预测来引导策略行为，缺乏具有明确性质的数学化目标。与此不同，我们将探索重新表述为状态边缘匹配（State Marginal Matching, SMM）问题，旨在学习一个策略，使其状态边缘分布与给定的目标状态分布相匹配。目标分布在大多数情况下为均匀分布，但若可用，也可融入先验知识。实际上，SMM 将学习在给定环境中进行探索的成本进行了摊销。SMM 目标可视为状态密度模型与参数化策略之间的二人零和博弈，我们利用这一思想构建了优化 SMM 目标的算法。借助这一形式化框架，我们进一步证明先前的工作近似地最大化了 SMM 目标，为这些方法的成功提供了一种解释。在仿真和真实世界任务中，我们证明直接优化 SMM 目标的智能体相比先前的探索方法，探索速度更快，且能更迅速地适应新任务。
引用
@article{arxiv.1906.05274,
title = {Efficient Exploration via State Marginal Matching},
author = {Lisa Lee and Benjamin Eysenbach and Emilio Parisotto and Eric Xing and Sergey Levine and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:1906.05274},
year = {2020}
}
备注
Videos and code: https://sites.google.com/view/state-marginal-matching