GrateTile：面向 CNN 处理的高效稀疏张量分块
机器学习
2020-09-21 v1 硬件体系结构
机器学习
摘要
我们提出 GrateTile，一种高效、硬件友好的稀疏 CNN 特征图（激活值）数据存储方案。它将数据划分为大小不均的子张量，并以较小的索引开销将其存储为压缩但仍可随机访问的格式。该设计使现代 CNN 加速器能够以分块处理方式按需获取并解压子张量。GrateTile 适用于偏好对齐、合并数据访问的架构，且只需对整体架构设计做极小改动。我们使用最先进的 CNN 对 GrateTile 进行仿真，结果显示平均减少 55% 的 DRAM 带宽，而仅使用特征图大小的 0.6% 作为索引存储。
引用
@article{arxiv.2009.08685,
title = {GrateTile: Efficient Sparse Tensor Tiling for CNN Processing},
author = {Yu-Sheng Lin and Hung Chang Lu and Yang-Bin Tsao and Yi-Min Chih and Wei-Chao Chen and Shao-Yi Chien},
journal= {arXiv preprint arXiv:2009.08685},
year = {2020}
}
备注
To be published at IEEE Workshop on Signal Processing System (SiPS 2020)