面向卷积神经网络激活的压缩感知投影与贪婪降维
计算机视觉与模式识别
2021-10-19 v1 机器学习
信号处理
摘要
卷积神经网络（CNNs）在广泛领域中取得了显著性能。然而，激活的大量内存访问带来了可观的能耗，阻碍了 CNNs 在资源受限边缘设备上的部署。现有的激活压缩工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进降维的情况下，这些方法导致严重的精度下降。为了改善分类精度与压缩比之间的权衡，我们提出了一种压缩感知投影系统，其采用可学习投影来补偿重建损失。此外，引入了一种贪婪选择度量，通过同时考虑精度和 #bits 减少来优化逐层压缩比分配。我们的测试结果表明，所提方法在 MobileNetV2/ResNet18/VGG16 上以可忽略的精度下降有效减少了 2.91x~5.97x 的内存访问。
引用
@article{arxiv.2110.08828,
title = {Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations},
author = {Yu-Shan Tai and Chieh-Fang Teng and Cheng-Yang Chang and An-Yeu Wu},
journal= {arXiv preprint arXiv:2110.08828},
year = {2021}
}
备注
5 pages, 5 figures, submitted to 2022 ICASSP