基于 GF(2) 上学习表征的 DNN 特征图压缩
计算机视觉与模式识别
2018-08-17 v1
摘要
在本文中，我们引入一种方法来压缩深度神经网络（DNNs）的中间特征图，以降低推理过程中的内存存储和带宽需求。与先前工作不同，所提方法基于将定点激活转换为最小 GF(2) 有限域上的向量，随后将非线性降维（NDR）层嵌入 DNN 中。这种端到端学习的表征通过利用沿通道或空间维度的定点激活中的量化冗余，找到更紧凑的特征图。我们将源自修改后的 SqueezeNet 和 MobileNetV2 的所提网络架构应用于 ImageNet 分类和 PASCAL VOC 目标检测任务。与先前方法相比，所进行的实验显示内存需求降低为原来的 1/2，而精度仅有微小下降，同时仅增加了按位运算。
引用
@article{arxiv.1808.05285,
title = {DNN Feature Map Compression using Learned Representation over GF(2)},
author = {Denis A. Gudovskiy and Alec Hodgkinson and Luca Rigazio},
journal= {arXiv preprint arXiv:1808.05285},
year = {2018}
}
备注
CEFRL2018