AnalogNets：噪声鲁棒TinyML模型与常开模拟存内计算加速器的机器学习-硬件协同设计
硬件体系结构
2021-11-15 v1 新兴技术
机器学习
摘要
物联网应用中的常开TinyML感知任务要求极高的能效。使用非易失性存储器（NVM）的模拟存内计算（CiM）有望实现高效率，并提供自包含的片上模型存储。然而，模拟CiM引入了全新的实际考量，包括电导漂移、读/写噪声、固定的模数（ADC）转换器增益等。必须解决这些额外约束，才能实现可部署于模拟CiM且精度损失可接受的模型。本工作描述了：面向热门常开应用关键词 spotting（KWS）与视觉唤醒词（VWW）的TinyML模型。模型架构专为模拟CiM设计，我们详述了全面的训练方法，以在推理时面对模拟非理想性与低精度数据转换器保持精度。我们还描述了AON-CiM，一种可编程、极小面积的相变存储器（PCM）模拟CiM加速器，采用新颖的层串行方法以消除全流水线设计所关联的复杂互连成本。我们在校准模拟器及真实硬件上评估AnalogNets，发现经过24小时PCM漂移（8位）后，KWS/VWW的精度下降分别限于0.8/1.2。运行于14nm AON-CiM加速器上的AnalogNets在KWS/VWW负载下使用8位激活分别展现8.58/4.37 TOPS/W，在使用位激活时提升至57.39/25.69 TOPS/W。
引用
@article{arxiv.2111.06503,
title = {AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On Analog Compute-in-Memory Accelerator},
author = {Chuteng Zhou and Fernando Garcia Redondo and Julian Büchel and Irem Boybat and Xavier Timoneda Comas and S. R. Nandakumar and Shidhartha Das and Abu Sebastian and Manuel Le Gallo and Paul N. Whatmough},
journal= {arXiv preprint arXiv:2111.06503},
year = {2021}
}