跨多个数量级学习价值
机器学习
2016-08-17 v2 人工智能
神经与进化计算
机器学习
摘要
大多数学习算法对正在被近似的函数的尺度不具不变性。我们提议自适应地归一化学习中使用的目标。这在基于价值的强化学习中很有用，其中当我们更新行为策略时，恰当的价值近似的幅度可能随时间变化。我们的主要动机是先前关于学习玩 Atari 游戏的工作，其中奖励都被裁剪到预定范围。这种裁剪便于用单一学习算法跨许多不同游戏学习，但被裁剪的奖励函数会导致定性上不同的行为。使用自适应归一化，我们可以移除这一领域特定的启发式方法而不降低整体性能。
引用
@article{arxiv.1602.07714,
title = {Learning values across many orders of magnitude},
author = {Hado van Hasselt and Arthur Guez and Matteo Hessel and Volodymyr Mnih and David Silver},
journal= {arXiv preprint arXiv:1602.07714},
year = {2016}
}
备注
Paper accepted for publication at NIPS 2016. This version includes the appendix