POET：通过集成重materialization与分页在微型设备上训练神经网络
机器学习
2022-07-19 v1 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
摘要
在手机等边缘设备上进行模型微调将实现对敏感数据的隐私保护个性化。然而，边缘训练历史上一直局限于具有简单架构的相对较小的模型，因为训练既消耗内存又消耗能量。我们提出POET，一种能够在内存稀缺的电池供电边缘设备上训练大型神经网络的算法。POET联合优化重materialization（重计算）与分页这两个用于降低反向传播内存消耗的算法的集成搜索空间。给定内存预算与运行时间约束，我们构建了一个用于能量最优训练的混合整数线性规划（MILP）。我们的方法能够在嵌入式设备上训练显著更大的模型，同时降低能耗，且不修改反向传播的数学正确性。我们证明，在Cortex-M类嵌入式设备的内存约束下微调ResNet-18和BERT是可能的，同时在能效上优于当前的边缘训练方法。POET是一个开源项目，可在 https://github.com/ShishirPatil/poet 获取。
引用
@article{arxiv.2207.07697,
title = {POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging},
author = {Shishir G. Patil and Paras Jain and Prabal Dutta and Ion Stoica and Joseph E. Gonzalez},
journal= {arXiv preprint arXiv:2207.07697},
year = {2022}
}
备注
Proceedings of the 39th International Conference on Machine Learning 2022 (ICML 2022)