UDC：面向可压缩 TinyML 模型的统一可微神经架构搜索
机器学习
2023-01-06 v4
摘要
在低成本物联网硬件上部署 TinyML 模型极具挑战性，原因在于设备存储容量有限。神经处理单元（NPU）硬件通过模型压缩利用权重量化与稀疏性，在相同占用空间内容纳更多参数，从而应对存储挑战。然而，设计可压缩神经网络（NN）十分困难，因为这扩展了我们必须进行平衡权衡的设计空间。本文提出面向可压缩神经网络的统一可微神经架构搜索（UDC），其探索了大型搜索空间，为 NPU 生成最先进的可压缩神经网络。ImageNet 结果表明，与先前工作相比，UDC 网络在同等精度下体积小至多 ，或在同等模型大小下精度高 6.25%。
引用
@article{arxiv.2201.05842,
title = {UDC: Unified DNAS for Compressible TinyML Models},
author = {Igor Fedorov and Ramon Matas and Hokchhay Tann and Chuteng Zhou and Matthew Mattina and Paul Whatmough},
journal= {arXiv preprint arXiv:2201.05842},
year = {2023}
}