稀疏表示在强化学习控制中的效用
机器学习
2018-11-19 v1 人工智能
机器学习
摘要
我们研究强化学习中用于控制的稀疏表示。尽管这些表示在计算机视觉中广泛应用，在强化学习中其使用主要限于稀疏编码，而其为新数据提取表示的计算开销可能很大。此处，我们首先证明：在经典控制领域中，使用标准神经网络得到的表示来增量学习控制策略会失败，而使用具有强制稀疏性属性的神经网络所获得的表示来学习则有效。我们提供的证据表明，原因在于稀疏表示提供了局部性，从而避免灾难性干扰，尤其为自举保持了一致且稳定的值。随后我们讨论如何学习此类稀疏表示。我们探索了分布正则化器（Distributional Regularizers）的思想，即鼓励隐藏节点激活匹配某一特定分布，从而随时间产生稀疏激活。我们确定了获取稀疏表示的一种简单而有效的方法，这是先前提出的策略所不具备的，使其更切实可用于对强化学习中稀疏表示的进一步研究。
引用
@article{arxiv.1811.06626,
title = {The Utility of Sparse Representations for Control in Reinforcement Learning},
author = {Vincent Liu and Raksha Kumaraswamy and Lei Le and Martha White},
journal= {arXiv preprint arXiv:1811.06626},
year = {2018}
}
备注
Association for the Advancement of Artificial Intelligence 2019