强化学习策略转换至脉冲神经元网络平台后鲁棒性的提升及其在 ATARI 游戏中的应用
机器学习
2019-08-20 v3 神经与进化计算
机器学习
摘要
深度强化学习(RL)在可由训练策略求解的任务上表现出优异性能，在使用多层神经网络(NNs)的前沿机器学习方法中占据主导地位。同时，深度 RL 对含噪、不完整及误导性输入数据高度敏感。遵循生物学直觉，我们引入脉冲神经网络(SNNs)以解决深度 RL 方案的若干缺陷。先前在图像分类领域的研究表明，使用监督学习训练的标准 NNs(带 ReLU 非线性)可转换为 SNNs 且性能退化可忽略。本文将此类转换结果拓展至使用 RL 训练的 Q-Learning NNs 领域。我们给出了标准 NN 转换为 SNN 的原理验证。此外，我们展示了 SNN 对输入图像中遮挡的鲁棒性有所提升。最后，我们给出了将全规模深度 Q 网络转换为 SNN 的结果，为未来面向鲁棒深度 RL 应用的研究铺平道路。
引用
@article{arxiv.1903.11012,
title = {Improved robustness of reinforcement learning policies upon conversion to spiking neuronal network platforms applied to ATARI games},
author = {Devdhar Patel and Hananel Hazan and Daniel J. Saunders and Hava Siegelmann and Robert Kozma},
journal= {arXiv preprint arXiv:1903.11012},
year = {2019}
}