用神经网络编译器弥合神经网络与神经形态硬件之间的鸿沟
神经与进化计算
2018-01-19 v3 新兴技术
机器学习
摘要
与为通用处理器开发神经网络（NNs）不同，面向 NN 芯片的开发通常面临一些特定于硬件的限制，例如网络信号与参数的有限精度、受限的计算规模以及有限种类的非线性函数。本文提出一种应对这些挑战的通用方法。我们通过引入一个编译器将 NN 应用与目标硬件解耦，该编译器可将一个已有的训练好的、无约束的 NN 转换为满足给定硬件约束的等价网络。我们提出多种技术使该转换能适应不同种类的 NN 芯片，并对严格硬件约束保持可靠。我们已构建这样一个支持脉冲神经网络（SNNs）与传统人工神经网络（ANNs）的软件工具。我们已用一个 fabricated 神经形态芯片及一个存内处理（PIM）设计证明了其有效性。测试表明该方案引起的推理误差可忽略，且转换时间远短于重训练时间。此外，我们研究了参数敏感性评估，以探索不同转换策略下网络误差与资源利用之间的权衡，这可为神经形态硬件与软件的协同设计优化提供见解。
引用
@article{arxiv.1801.00746,
title = {Bridging the Gap Between Neural Networks and Neuromorphic Hardware with A Neural Network Compiler},
author = {Yu Ji and YouHui Zhang and WenGuang Chen and Yuan Xie},
journal= {arXiv preprint arXiv:1801.00746},
year = {2018}
}
备注
Accepted by ASPLOS 2018