深度 Q 网络转换为事件驱动脉冲神经网络的策略与基准
神经与进化计算
2020-12-24 v2 机器学习
摘要
脉冲神经网络（SNNs）在专用神经形态硬件上高效实现深度神经网络（DNNs）方面具有巨大潜力。近期研究展示了 SNNs 在图像分类任务（包括 CIFAR-10 和 ImageNet 数据）上与 DNNs 相比具有竞争力。本工作聚焦于在 ATARI 游戏中将 SNNs 与深度强化学习结合使用，这比图像分类涉及额外的复杂性。我们回顾了将 DNNs 转换为 SNNs 并扩展至深度 Q 网络（DQNs）的理论。我们提出了一种鲁棒的放电率表示，以降低转换过程中的误差。此外，我们引入了一种新指标，通过比较 DQN 和 SNN 分别做出的决策来评估转换过程。我们还分析了仿真时间与参数归一化如何影响转换后 SNNs 的性能。我们在 17 个表现最佳的 Atari 游戏上取得了具有竞争力的分数。据我们所知，我们的工作是首个使用 SNNs 在多个 Atari 游戏上达到最先进性能的工作。我们的工作可作为 DQNs 转换为 SNNs 的基准，并为进一步研究使用 SNNs 解决强化学习任务铺平道路。
引用
@article{arxiv.2009.14456,
title = {Strategy and Benchmark for Converting Deep Q-Networks to Event-Driven Spiking Neural Networks},
author = {Weihao Tan and Devdhar Patel and Robert Kozma},
journal= {arXiv preprint arXiv:2009.14456},
year = {2020}
}
备注
Accepted by AAAI2021