光片上网络(ONoC)上全连接神经网络的加速训练
分布式、并行与集群计算
2022-11-29 v1 人工智能
机器学习
摘要
全连接神经网络(FCNN)是一类广泛应用于计算机科学与工程领域的人工神经网络，而在现有多核系统中，使用大规模数据集进行训练的过程可能耗时很长。光片上网络(ONoC)作为一种新兴的芯片级光互连技术，凭借低传输延迟、低功耗和高吞吐量，在加速FCNN训练方面具有巨大潜力。然而，由于ONoC的独特性质，现有基于电片上网络(ENoC)的方法无法适用于ONoC。本文提出了一种在ONoC上加速FCNN训练的细粒度并行计算模型，并以完成一个epoch的FCNN训练总时间最小化为目标，推导了各执行阶段的最优核数。为分配各执行阶段的最优核数，我们提出了三种映射策略，并从热点程度、内存需求和状态转移方面比较了它们的优缺点。仿真结果表明，在神经网络基准测试中，最优核数的平均预测误差在2.3%以内。我们进一步进行了大量仿真，结果表明，与分别采用固定核数或尽可能多核数的传统并行计算方法相比，所提方案平均可减少FCNN训练时间22.28%和4.91%。与ENoC相比，仿真结果显示在批大小分别为64和128时，ONoC平均可分别减少训练时间21.02%和12.95%，并分别节省能耗47.85%和39.27%。
引用
@article{arxiv.2109.14878,
title = {Accelerating Fully Connected Neural Network on Optical Network-on-Chip (ONoC)},
author = {Fei Dai and Yawen Chen and Haibo Zhang and Zhiyi Huang},
journal= {arXiv preprint arXiv:2109.14878},
year = {2022}
}
备注
14 pages, 10 figures. This paper is under the second review of IEEE Transactions of Computers