迈向高效的片上神经网络：硬件与算法协同方法
神经与进化计算
2019-06-24 v1
摘要
机器学习算法在许多应用中取得了显著进展。然而，其在最先进平台上的硬件实现仍面临若干挑战，并受内存容量、内存带宽和互连开销等多种因素限制。采用基于新兴存储器技术的交叉开关架构部分解决了该问题，但引入了工艺偏差等顾虑。在本文中，我们将针对人工智能（AI）算法交叉开关实现中的两个基本问题：器件偏差和互连不足，提出新颖的解决方案。这些方案受算法自身统计特性的启发，尤其是神经网络节点与连接中的冗余性。通过随机稀疏自适应以及遵循小世界模型对连接进行剪枝，我们在 MNIST 和 CIFAR-10 等代表性数据集上展示了鲁棒且高效的性能。此外，我们提出了连续生长与剪枝算法，用于硬件上的未来学习与适配。
引用
@article{arxiv.1906.08866,
title = {Towards Efficient Neural Networks On-a-chip: Joint Hardware-Algorithm Approaches},
author = {Xiaocong Du and Gokul Krishnan and Abinash Mohanty and Zheng Li and Gouranga Charan and Yu Cao},
journal= {arXiv preprint arXiv:1906.08866},
year = {2019}
}