无谓感谢:用轻量卷积神经网络预测零值激活
计算机视觉与模式识别
2020-07-14 v3
摘要
卷积神经网络(convolutional neural networks, CNNs)以高计算需求为代价,为各类任务带来最先进的结果。受 CNN 输出特征图(ofms)中存在空间相关性这一观察的启发,我们提出一种方法,根据 ofm 激活的相邻激活值动态预测其是否为零值,从而避免零值激活并减少卷积运算次数。我们用轻量 CNN 实现零激活预测器(zero activation predictor, ZAP),其引入可忽略的开销且易于部署在现有模型上。ZAP 通过模仿隐藏层输出来训练,从而实现并行且无标签的训练。此外,无需重训练,每个 ZAP 可调节至不同的工作点,以精度换取 MAC 减少。
引用
@article{arxiv.1909.07636,
title = {Thanks for Nothing: Predicting Zero-Valued Activations with Lightweight Convolutional Neural Networks},
author = {Gil Shomron and Ron Banner and Moran Shkolnik and Uri Weiser},
journal= {arXiv preprint arXiv:1909.07636},
year = {2020}
}