MobileTL：基于倒残差块的端侧迁移学习
机器学习
2023-04-11 v2 人工智能
摘要
边缘端迁移学习因设备资源有限而具挑战性。现有工作通过训练部分参数或添加模型补丁解决此问题。倒残差块 (IRBs) 以推理为设计初衷，将卷积层拆分为逐深度与逐点卷积，导致更多堆叠层，如卷积、归一化与激活层。尽管它们推理高效，IRBs 需为卷积层训练权重与归一化层训练尺度而在内存中存储额外激活图。结果，其高内存成本禁止在资源受限边缘设备上训练 IRBs，使其不适用于迁移学习场景。为解决此问题，我们提出 MobileTL，一种面向以 IRBs 构建模型的内存与计算高效端侧迁移学习法。MobileTL 训练内部归一化层的偏移以避免为反向传播存储激活图。此外，MobileTL 将激活层（如 Hard-Swish 与 ReLU6）的反向计算近似为符号函数，从而以存储二值掩码替代激活图用于反向传播。MobileTL 微调少数顶层块（靠近输出）而非将梯度传遍整个网络以降低计算成本。我们的方法为 MobileNetV2 与 V3 的 IRBs 分别减少 46% 与 53% 内存使用。对于 MobileNetV3，微调 5 个块时我们观察到浮点运算 (FLOPs) 减少 36%，而在 CIFAR10 上仅带来 0.6% 准确率下降。在多数据集上的大量实验表明，相较先前边缘设备迁移学习工作，我们的方法具帕累托最优性（给定硬件约束下最佳准确率）。
引用
@article{arxiv.2212.03246,
title = {MobileTL: On-device Transfer Learning with Inverted Residual Blocks},
author = {Hung-Yueh Chiang and Natalia Frumkin and Feng Liang and Diana Marculescu},
journal= {arXiv preprint arXiv:2212.03246},
year = {2023}
}