TinyTL:减少激活而非可训练参数以实现高效端侧学习
计算机视觉与模式识别
2021-06-08 v5 机器学习
摘要
端侧学习使边缘设备能够持续使AI模型适应新数据,这需要较小的内存占用以契合边缘设备严苛的内存约束。现有工作通过减少可训练参数的数量来解决该问题。然而,这并不能直接转化为内存节省,因为主要瓶颈是激活而非参数。在本工作中,我们提出Tiny-Transfer-Learning(TinyTL)以实现内存高效的端侧学习。TinyTL冻结权重而仅学习偏置模块,因此无需存储中间激活。为保持适应能力,我们引入一种新的内存高效偏置模块——轻量残差模块,通过学习小型残差特征图来精炼特征提取器,仅增加3.8%的内存开销。大量实验表明,与微调全网络相比,TinyTL显著节省内存(高达6.5倍)且精度损失很小。与微调最后一层相比,TinyTL以微小的内存开销提供了显著的精度提升(高达34.1%)。此外,结合特征提取器适配,TinyTL与微调完整的Inception-V3相比,在不牺牲精度的情况下节省了7.3-12.9倍的内存。
引用
@article{arxiv.2007.11622,
title = {TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning},
author = {Han Cai and Chuang Gan and Ligeng Zhu and Song Han},
journal= {arXiv preprint arXiv:2007.11622},
year = {2021}
}
备注
NeurIPS 2020