在分布式 FPGA 上加速深度神经进化用于强化学习问题
神经与进化计算
2021-05-10 v1 人工智能
硬件体系结构
分布式、并行与集群计算
机器学习
摘要
由深度神经网络表征能力增强的强化学习，已在游戏博弈和机器人控制等高维问题上展现出有前景的结果。然而，这些问题的序列性质对计算效率提出了根本挑战。近来，进化策略和深度神经进化等替代方法在分布式 CPU 核上以更快的训练时间展示了具有竞争力的结果。在此，我们报告了使用在分布式 FPGA 上实现的深度神经进化在 Atari 2600 游戏上创纪录的训练时间（以约每秒 100 万帧运行）。游戏主机、图像预处理和神经网络在优化流水线中的组合硬件实现，乘以系统级并行性，实现了加速。这些结果是在 IBM Neural Computer 上的首次应用演示，该系统为定制设计，由 432 个 Xilinx FPGA 以三维网格网络拓扑互连组成。除高性能外，实验还显示与相同算法的 CPU 实现相比，所有游戏的精度均有所提高。
引用
@article{arxiv.2005.04536,
title = {Accelerating Deep Neuroevolution on Distributed FPGAs for Reinforcement Learning Problems},
author = {Alexis Asseman and Nicolas Antoine and Ahmet S. Ozcan},
journal= {arXiv preprint arXiv:2005.04536},
year = {2021}
}
备注
12 pages. Submitted to ACM Journal on Emerging Technologies in Computing Systems: Special Issue on Hardware and Algorithms for Efficient Machine Learning