FlexTrain：一种面向异构设备环境的动态训练框架
机器学习
2023-11-27 v2
摘要
随着深度学习模型日益增大，它们在异构设备环境中带来了显著挑战。深度学习模型的规模使其难以部署在低功耗或资源受限设备上，导致推理时间长、能耗高。为应对这些挑战，我们提出 FlexTrain，一种在训练阶段适应不同设备上可用异构存储与计算资源的框架。FlexTrain 能够实现深度学习模型的高效部署，同时尊重设备约束、最小化通信成本并确保与多样设备的无缝集成。我们在 CIFAR-100 数据集上展示了 FlexTrain 的有效性，其中使用 FlexTrain 训练的单一全局模型可轻松部署于异构设备，节省训练时间与能耗。我们还将 FlexTrain 扩展至联邦学习设置，表明我们的方法在 CIFAR-10 和 CIFAR-100 数据集上均优于标准联邦学习基准。
引用
@article{arxiv.2310.20457,
title = {FlexTrain: A Dynamic Training Framework for Heterogeneous Devices Environments},
author = {Mert Unsal and Ali Maatouk and Antonio De Domenico and Nicola Piovesan and Fadhel Ayed},
journal= {arXiv preprint arXiv:2310.20457},
year = {2023}
}
备注
Workshop on Advancing Neural Network Training (WANT) at NeurIPS 2023