PRIOT：面向嵌入式系统的基于剪枝的纯整数迁移学习
机器学习
2025-03-24 v1
摘要
设备端迁移学习对于将通用骨干模型适配到每个边缘设备的独特环境至关重要。诸如 Raspberry Pi Pico 之类的微型微控制器是设备端学习的关键目标，但它们通常缺乏浮点运算单元，因此需要纯整数训练。现有研究采用的量化缩放因子动态计算方法会带来较高的计算开销。因此，本研究聚焦于使用静态缩放因子的纯整数训练，而现有训练方法难以有效应对这一挑战。我们提出了一种名为 PRIOT 的新训练方法，该方法通过剪枝选定的边而非更新权重来优化网络，从而能够使用静态缩放因子进行有效训练。剪枝模式由边弹出算法确定，该算法为每条边训练一个称为分数的参数，而非原始参数，并在推理前剪除分数较低的边。此外，我们引入了内存高效版本 PRIOT-S，它仅为一小部分边分配分数。我们在 Raspberry Pi Pico 上实现了 PRIOT 和 PRIOT-S，并使用旋转 MNIST 数据集上的小型 CNN 模型以及旋转 CIFAR-10 数据集上的 VGG11 模型对其准确性和计算开销进行了评估。我们的结果表明，PRIOT 在准确率上比现有方法提高了 8.08 至 33.75 个百分点，而 PRIOT-S 在几乎不损失准确率的前提下显著降低了内存占用。
引用
@article{arxiv.2503.16860,
title = {PRIOT: Pruning-Based Integer-Only Transfer Learning for Embedded Systems},
author = {Honoka Anada and Sefutsu Ryu and Masayuki Usui and Tatsuya Kaneko and Shinya Takamaeda-Yamazaki},
journal= {arXiv preprint arXiv:2503.16860},
year = {2025}
}
备注
Accepted for publication in IEEE Embedded Systems Letters