通过输出梯度实现深度与循环神经网络的安全变异
神经与进化计算
2018-05-03 v3 人工智能
摘要
尽管神经进化(演化神经网络)在从强化学习到人工生命的各类领域有成功记录,却很少应用于大型深度神经网络。一个核心原因是,随机变异在低维中通常有效,但对成千上万甚至数百万权重的随机扰动很可能破坏已有功能,即便某些个体权重改变有益也无法提供学习信号。本文提出一种解决方案,引入一类安全变异(SM)算子,旨在变异算子内部找到不至于过度改变网络行为、但仍促进探索的变化程度。重要的是,这些 SM 算子不需要任何与环境的额外交互。最有效的 SM 变体利用了按网络输出对该权重的敏感度缩放各权重变异程度的有趣机会,这需要计算输出相对于权重的梯度(而非如常规深度学习中的误差梯度)。这种通过梯度的安全变异(SM-G)算子显著提升了基于简单遗传算法的神经进化方法在高维领域中寻找解的能力,这些领域需要深度和/或循环神经网络(往往对变异特别脆弱),包括需处理原始像素的领域。通过提升演化深度神经网络的能力,这种更安全的变异新方法拓展了适于神经进化的领域范围。
引用
@article{arxiv.1712.06563,
title = {Safe Mutations for Deep and Recurrent Neural Networks through Output Gradients},
author = {Joel Lehman and Jay Chen and Jeff Clune and Kenneth O. Stanley},
journal= {arXiv preprint arXiv:1712.06563},
year = {2018}
}