生成对抗网络在无源 RRAM 交叉阵列上的节能实现
新兴技术
2022-04-20 v2
摘要
GAN 等生成算法正处于无监督学习与大规模人工数据生成领域下一场革命的临界点。然而，GAN 中判别网络与生成网络的对抗（竞争）式联合训练使其计算密集，阻碍了它们在资源受限的 IoT 边缘设备上的部署。此外，训练期间判别网络与生成网络间的频繁数据传输显著降低了基于 GPU 和 FPGA 等 von-Neumann GAN 加速器的效能。因此，亟需开发超紧凑且节能的 GAN 硬件加速器。为此，本工作中我们提出利用无源 RRAM 交叉阵列执行全连接 GAN 的关键操作：(a) 为生成器网络生成真随机噪声，(b) 在前向传播与反向传播中以空前能效进行向量-矩阵乘法，以及 (c) 使用硬件友好的 Manhattan 规则进行原位对抗训练。我们利用实验标定的无源 RRAM 交叉阵列现象学模型进行的广泛分析揭示了一个未预见的权衡：在使用不同噪声输入训练 GAN 网络时，精度与能耗之间存在折衷。此外，我们的结果表明，空间与时间变异以及真随机噪声——这些在存储应用中不受欢迎的因素——在不降低精度的情况下提升了 GAN 在无源 RRAM 交叉阵列上实现的能效。
引用
@article{arxiv.2111.14484,
title = {Energy-Efficient Implementation of Generative Adversarial Networks on Passive RRAM Crossbar Arrays},
author = {Siddharth Satyam and Honey Nikam and Shubham Sahay},
journal= {arXiv preprint arXiv:2111.14484},
year = {2022}
}