面向高效常开模型的门控压缩层
机器学习
2023-03-17 v1
摘要
移动和嵌入式机器学习开发者经常不得不在两种欠佳的端侧部署策略之间妥协：牺牲精度并激进地缩小模型以在专用低功耗核心上运行；或牺牲电池续航，在更强大的计算核心（如神经处理单元或主应用处理器）上运行更大的模型。在本文中，我们提出一种新颖的门控压缩层（Gated Compression layer），可应用于将现有神经网络架构转换为门控神经网络（Gated Neural Networks）。门控神经网络具有多项在端侧用例中表现出色的特性，可显著降低了功耗、提升精度，并利用异构计算核心。我们在五个公开图像与音频数据集上提供的结果表明，所提出的门控压缩层有效拦截了多达96%的负样本，压缩了97%的正样本，同时保持或提升了模型精度。
引用
@article{arxiv.2303.08970,
title = {Gated Compression Layers for Efficient Always-On Models},
author = {Haiguang Li and Trausti Thormundsson and Ivan Poupyrev and Nicholas Gillian},
journal= {arXiv preprint arXiv:2303.08970},
year = {2023}
}