用于提升强化学习中神经进化效率的代理模型
神经与进化计算
2019-07-23 v1
摘要
近年来，强化学习受到大量关注。解决强化学习任务的一种方法是神经进化（Neuroevolution），即通过进化算法优化神经网络。神经进化的一个缺点是可能需要大量函数评估，却未充分利用每次适应度评估中的可用信息。当适应度评估变得昂贵时，这一问题尤为突出。为降低适应度评估的代价，可采用代理模型部分替代适应度函数。神经进化中代理建模的困难在于复杂的搜索空间以及如何比较不同网络。为此，近期研究表明基于核的方法，尤其是采用表型距离度量，效果良好。这些核通过比较不同网络的行为（表型）而非其拓扑或编码（基因型）来比较网络。本工作中，我们讨论基于代理模型的神经进化（SMB-NE）在强化学习中使用表型距离的情形。具体而言，我们研究 a) SMB-NE在评估效率方面的潜力，以及 b) 在强化学习问题中如何为表型距离度量选取恰当的输入集。结果表明，利用动态输入集我们能够显著提高评估效率。
引用
@article{arxiv.1907.09300,
title = {Surrogate Models for Enhancing the Efficiency of Neuroevolution in Reinforcement Learning},
author = {Jörg Stork and Martin Zaefferer and Thomas Bartz-Beielstein and A. E. Eiben},
journal= {arXiv preprint arXiv:1907.09300},
year = {2019}
}
备注
This is the authors version of the work. It is posted here for your personal use. Not for redistribution. The definitive Version of Record was published in Genetic and Evolutionary Computation Conference (GECCO 2019)