CAT：用于带宽降低的压缩感知训练
计算机视觉与模式识别
2019-09-26 v1 机器学习
摘要
卷积神经网络（CNNs）已成为解决视觉处理任务的主流神经网络架构。阻碍 CNNs 普遍用于推理的主要障碍之一是其相对较高的内存带宽需求，这可能成为硬件加速器中的主要能耗来源和吞吐量瓶颈。因此，高效的特征图压缩方法可带来显著的性能提升。受量化感知训练方法的启发，我们提出了一种压缩感知训练（CAT）方法，该方法以允许在推理期间更好地压缩特征图的方式训练模型。我们的方法训练模型以获得低熵特征图，从而能够在推理时使用经典变换编码方法实现高效压缩。CAT 显著改进了已报道的量化最优结果。例如，在 ResNet-34 上，我们以每个值仅 1.79 位的平均表示实现了 73.1% 的准确率（较基线下降 0.2%）。参考实现随论文提供于 https://github.com/CAT-teams/CAT
引用
@article{arxiv.1909.11481,
title = {CAT: Compression-Aware Training for bandwidth reduction},
author = {Chaim Baskin and Brian Chmiel and Evgenii Zheltonozhskii and Ron Banner and Alex M. Bronstein and Avi Mendelson},
journal= {arXiv preprint arXiv:1909.11481},
year = {2019}
}