GANAX：面向生成对抗网络的统一 MIMD-SIMD 加速
分布式、并行与集群计算
2018-06-05 v1 硬件体系结构
机器学习
神经与进化计算
摘要
生成对抗网络（GANs）是最新的深度学习模型之一，可从有限的真实数据集中生成合成数据。GANs 处于前沿，因为将深度学习进一步扩展到许多领域（如医学、机器人、内容合成）需要海量标注数据集，而这些数据通常要么不可用，要么收集成本过高。尽管 GANs 在各领域日益突出，目前尚无针对这些新模型的加速器。事实上，GANs 利用一种称为转置卷积的新算子，给硬件加速带来独特挑战。该算子首先在多维输入中插入零，随后在该扩展数组上卷积核以向嵌入的零中添加信息。尽管该算子存在卷积阶段，但当采用传统卷积加速器时，插入的零会导致计算资源利用率不足。我们提出 GANAX 架构以缓解使用传统卷积加速器加速 GANs 相关的低效根源，使首个 GAN 加速器设计成为可能。我们提出对输出计算进行重组，将具有相似零模式的计算行分配给相邻处理引擎，从而避免对零进行无谓的乘加。这种强制邻接恢复了这些相邻处理引擎间的数据复用，否则因插入零而减弱。该重排序打破了卷积加速器中突出的全 SIMD 执行模型。因此，我们为 GANAX 提出统一 MIMD-SIMD 设计，利用计算中的重复模式创建不同的微程序，以 SIMD 模式并发执行。
引用
@article{arxiv.1806.01107,
title = {GANAX: A Unified MIMD-SIMD Acceleration for Generative Adversarial Networks},
author = {Amir Yazdanbakhsh and Hajar Falahati and Philip J. Wolfe and Kambiz Samadi and Nam Sung Kim and Hadi Esmaeilzadeh},
journal= {arXiv preprint arXiv:1806.01107},
year = {2018}
}
备注
Proceedings of the 45th International Symposium on Computer Architecture (ISCA), 2018