TinyTrain：数据稀缺边缘端兼顾资源感知与任务自适应的 DNN 稀疏训练

设备端训练对于用户个性化与隐私至关重要。随着物联网设备与微控制器单元（MCUs）的普及，由于受限的内存与计算资源以及有限的标注用户数据可用性，该任务变得更具挑战性。尽管如此，先前工作忽视数据稀缺问题、需要过长的训练时间（如数小时），或引发显著的准确率损失（>10%）。在本文中，我们提出 TinyTrain，一种设备端训练方法，通过选择性更新模型部分并显式应对数据稀缺来大幅缩减训练时间。TinyTrain 引入任务自适应稀疏更新方法，基于多目标准则动态选择待更新的层/通道，该准则联合刻画用户数据、目标设备的内存与计算能力，从而在降低计算与内存占用的同时于未见过任务上取得高准确率。TinyTrain 在准确率上优于整个网络的朴素微调 3.6–5.0%，同时将反向传播内存与计算成本分别降低至多 1,098 倍与 7.68 倍。面向广泛使用的真实世界边缘设备，TinyTrain 相较现状方法实现 9.5 倍更快、3.5 倍更节能的训练，且比 SOTA 方法内存占用小 2.23 倍，同时维持在 MCU 级平台 1 MB 内存界限内。