SGCN：在深度图卷积网络加速器中利用压缩稀疏特征
机器学习
2023-01-26 v1 硬件体系结构
摘要
图卷积网络(GCNs)正变得越来越流行，因为它们克服了先前神经网络的有限适用性。GCN 将任意结构的图作为输入，并执行一系列利用图结构计算其输出特征的层。GCN 近期的一个趋势是使用深度网络架构。与仅约两层到五层深的传统 GCN 不同，现代 GCN 借助残差连接如今包含了数十到数百层。从此类深度 GCN 中，我们发现一个重要特征：它们表现出非常高的中间特征稀疏性。我们观察到，随着深层与残差连接，中间特征中的零的数量急剧增加。这揭示了加速器中先前未存在的、可在 GCN 执行中利用的新机会。本文中，我们提出 SGCN，一种快速且高能效的 GCN 加速器，其充分利用现代 GCN 的稀疏中间特征。SGCN 提出若干技术以实现比现有加速器显著更高的性能与能效。首先，SGCN 采用一种对 GCN 友好的特征压缩格式。我们专注于减少片外内存流量，这通常是 GCN 执行的瓶颈。其次，我们提出无缝处理压缩特征格式的微架构。第三，为在存在变化稀疏性时更好地处理局部性，SGCN 采用稀疏感知协作。稀疏感知协作创建一种展现多个重用窗口的模式，使得缓存能捕获不同大小的工作集，从而适应变化的稀疏水平。我们表明，与现有加速器相比，SGCN 实现了 1.71 倍加速与 43.9% 更高的能效。
引用
@article{arxiv.2301.10388,
title = {SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators},
author = {Mingi Yoo and Jaeyong Song and Jounghoo Lee and Namhyung Kim and Youngsok Kim and Jinho Lee},
journal= {arXiv preprint arXiv:2301.10388},
year = {2023}
}
备注
To appear at HPCA'23