MEST：面向边缘设备的精确快速内存经济型稀疏训练框架
机器学习
2021-10-28 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
近年来，探索稀疏性以加速神经网络训练的新趋势已经出现，并接纳了在边缘设备上训练的范式。本文提出了一种新颖的内存经济型稀疏训练（MEST）框架，旨在边缘设备上实现精确而快速的执行。所提出的 MEST 框架由弹性变异（EM）和软内存边界（&S）的增强组成，可在高稀疏率下确保优越的精度。与现有的稀疏训练工作不同，本工作揭示了稀疏方案在真实边缘设备上对稀疏训练的精度以及训练速度性能的重要性。在此基础上，本文提出采用数据效率来进一步加速稀疏训练。我们的结果表明，即使在稀疏训练过程中动态探索稀疏掩码时，也可以在原位识别出难忘样本，因此可将其移除以进一步加速边缘设备上的训练。在精度方面与最先进（SOTA）工作相比，我们的 MEST 在使用相同非结构化稀疏方案时在 ImageNet 上显著提升了 Top-1 精度。我们对精度、训练速度和内存占用进行了系统性评估，其中所提出的 MEST 框架始终优于代表性的 SOTA 工作。一位审稿人基于其错误的假设和误解强烈反对我们的工作。在先前投稿的基础上，我们采用数据效率来进一步加速稀疏训练，并探索了模型稀疏性、稀疏方案和稀疏训练算法对可移除训练样本数量的影响。我们的代码公开于：https://github.com/boone891214/MEST。
引用
@article{arxiv.2110.14032,
title = {MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge},
author = {Geng Yuan and Xiaolong Ma and Wei Niu and Zhengang Li and Zhenglun Kong and Ning Liu and Yifan Gong and Zheng Zhan and Chaoyang He and Qing Jin and Siyue Wang and Minghai Qin and Bin Ren and Yanzhi Wang and Sijia Liu and Xue Lin},
journal= {arXiv preprint arXiv:2110.14032},
year = {2021}
}
备注
NeurIPS 2021 Spotlight Paper