卷积神经网络的通信下界
分布式、并行与集群计算
2022-07-14 v1 计算复杂性
数据结构与算法
摘要
卷积神经网络（CNNs）在广泛的机器学习任务与应用中十分重要，因此优化其性能至关重要。在存储层次结构各层级之间或网络上各处理器之间移动数据字远比算术运算代价高昂，因此最小化通信对优化性能极为关键。在本文中，我们在单处理器与并行分布式内存模型下给出了混合精度卷积数据移动的新下界，以及优于 Im2Col 等当前实现算法的算法。我们使用机器学习加速器 GEMMINI 获得性能数据，其中我们的分块方法相较供应商提供的算法带来了 13% 至 150% 的提升。
引用
@article{arxiv.2204.08279,
title = {Communication Bounds for Convolutional Neural Networks},
author = {Anthony Chen and James Demmel and Grace Dinh and Mason Haberle and Olga Holtz},
journal= {arXiv preprint arXiv:2204.08279},
year = {2022}
}