NetBooster：借深度巨人之力赋能微型深度学习
机器学习
2023-06-26 v1 分布式、并行与集群计算
摘要
在大量智能物联网设备上部署深度学习的巨大需求驱动下，微型深度学习吸引了越来越多的关注。然而，由于微型神经网络（TNNs）模型容量有限所导致的欠拟合问题，在大规模数据集和下游任务上充分发挥微型深度学习的潜力仍然具有挑战性。为此，我们提出了一个名为 NetBooster 的框架，通过“先扩展后压缩”的策略增强 TNNs 的架构，从而赋能微型深度学习。大量实验表明，NetBooster 始终优于最先进的微型深度学习方案。
引用
@article{arxiv.2306.13586,
title = {NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders of Deep Giants},
author = {Zhongzhi Yu and Yonggan Fu and Jiayi Yuan and Haoran You and Yingyan Lin},
journal= {arXiv preprint arXiv:2306.13586},
year = {2023}
}