存内计算神经加速器的器件-电路-架构协同探索
神经与进化计算
2020-03-24 v2 机器学习
摘要
神经架构与硬件设计的协同探索有望同时优化网络精度与硬件效率。然而，现有用于协同探索的最先进神经架构搜索算法专用于传统的冯·诺依曼（von-neumann）计算架构，其性能受到众所周知的存储墙的严重限制。在本文中，我们首次将可轻松突破存储墙的存内计算（computing-in-memory）架构与神经架构搜索相结合，旨在寻找具有高精度和最大化硬件效率的最高效神经架构。这种新颖的组合带来了性能提升的机遇，也带来了一系列挑战。设计空间跨越从器件类型、电路拓扑到神经架构的多个层次。此外，在存在器件变异时性能可能下降。为应对这些挑战，我们提出了一种跨层探索框架，即 NACIM，它联合探索器件、电路和架构设计空间，并考虑器件变异以寻找最鲁棒的神经架构。实验结果表明，在存在器件变异的情况下，NACIM 能找到精度损失仅 0.45% 的鲁棒神经网络，而最先进且未考虑变异的 NAS 精度损失达 76.44%；此外，NACIM 实现的能效高达 16.3 TOPs/W，比最先进 NAS 高 3.17 倍。
引用
@article{arxiv.1911.00139,
title = {Device-Circuit-Architecture Co-Exploration for Computing-in-Memory Neural Accelerators},
author = {Weiwen Jiang and Qiuwen Lou and Zheyu Yan and Lei Yang and Jingtong Hu and Xiaobo Sharon Hu and Yiyu Shi},
journal= {arXiv preprint arXiv:1911.00139},
year = {2020}
}
备注
10 pages, 6 figures