面向协同智能的神经网络特征张量轻量级压缩
机器学习
2021-05-14 v1 图像与视频处理
摘要
在协同智能应用中，深度神经网络（DNN）的一部分部署在复杂度较低的设备（如手机或边缘设备）上，其余部分在算力更充足处（如云端）处理。本文提出一种专为编码拆分 DNN 层激活值设计的新型轻量级压缩技术，其复杂度低、适合边缘设备且无需任何重训练。我们还提出了一种针对截断激活值优化的修正熵约束量化器设计算法。应用于流行的目标检测与分类 DNN 时，我们能将 32 位浮点激活值压缩至 0.6 至 0.8 比特，同时精度损失小于 1%。与 HEVC 相比，该轻量级编解码器始终提供更高的推理精度，最高达 1.3%。该轻量级压缩技术的性能与简洁性，使其成为边缘/云应用中拆分神经网络层激活值编码的理想选择。
引用
@article{arxiv.2105.06002,
title = {Lightweight compression of neural network feature tensors for collaborative intelligence},
author = {Robert A. Cohen and Hyomin Choi and Ivan V. Bajić},
journal= {arXiv preprint arXiv:2105.06002},
year = {2021}
}
备注
Accepted for publication in IEEE ICME 2020