ElasticTrainer：通过运行时弹性张量选择加速设备上训练
机器学习
2023-12-25 v1 人工智能
摘要
设备上训练对于神经网络（NN）持续适应新的在线数据至关重要，但由于设备计算能力有限，可能非常耗时。为了加速设备上训练，现有方案离线选择可训练NN部分或在运行时进行不可恢复的选择，但可训练NN部分的演化受到约束，无法适应当前的训练需求。相反，设备上训练的运行时自适应应完全弹性，即每个NN子结构可以在训练中的任何时刻自由地从可训练NN部分移除或添加。在本文中，我们提出ElasticTrainer，一种通过实现这种弹性来以最小NN精度损失实现所需训练加速的新技术。实验结果表明，与现有方案相比，ElasticTrainer在挂钟时间上实现了高达3.5倍的训练加速，并将能耗额外降低2-3倍，且没有明显的精度损失。
引用
@article{arxiv.2312.14227,
title = {ElasticTrainer: Speeding Up On-Device Training with Runtime Elastic Tensor Selection},
author = {Kai Huang and Boyuan Yang and Wei Gao},
journal= {arXiv preprint arXiv:2312.14227},
year = {2023}
}
备注
published at ACM MobiSys 2023. 14 pages