为内在动机学习高效表示
机器学习
2020-08-04 v3 机器人学
机器学习
摘要
智能体动作与环境状态之间的互信息（MIAS）量化了智能体对其环境的影响。近来发现，MIAS的最大化可用作人工智能体的内在动机。文献中以术语empowerment表示某一状态下MIAS的最大值。尽管empowerment已被证明能解决广泛的强化学习问题，但其在任意动力学中的计算是一个挑战性问题，因为它依赖于互信息的估计。现有依赖采样的方法局限于低维空间，因为互信息的高置信无分布下界需要指数级数量的样本。本工作中，我们提出了一种仅从视觉观测估计未知动力学中empowerment的新方法，无需为MIAS采样。核心思想是用具有特定形式的潜空间随机动力学模型表示动作序列与未来状态之间的关系。这使我们能用信息论中的“注水（Water-Filling）”算法高效计算empowerment。我们用在复杂目标函数上训练的深度神经网络构建该嵌入。实验结果表明所设计的嵌入保留了原始动力学的信息论性质。
引用
@article{arxiv.1912.02624,
title = {Learning Efficient Representation for Intrinsic Motivation},
author = {Ruihan Zhao and Stas Tiomkin and Pieter Abbeel},
journal= {arXiv preprint arXiv:1912.02624},
year = {2020}
}