Egeria：基于知识引导层冻结的高效 DNN 训练
机器学习
2023-03-14 v2 人工智能
分布式、并行与集群计算
摘要
深度神经网络（DNNs）的训练非常耗时。虽然大多数现有方案试图通过重叠/调度计算与通信来实现高效训练，本文进一步通过 DNN 层冻结来跳过计算与通信。我们的核心洞见是：DNN 内部各层的训练进展差异显著，且前层往往远早于深层达到充分训练。为此，我们首先引入训练可塑性（training plasticity）这一概念来量化 DNN 内部各层的训练进展。随后我们设计了 Egeria，一个知识引导的 DNN 训练系统，它利用参考模型的语义知识来准确评估各层的训练可塑性，并安全地冻结已收敛的层，从而节省其对应的反向计算与通信。我们的参考模型通过量化技术即时生成，并在空闲 CPU 上异步执行前向操作以最小化开销。此外，Egeria 通过预取缓存冻结层的中间输出，进一步跳过前向计算。我们基于流行视觉与语言模型的实现与测试床实验表明，Egeria 相较最先进方法取得了 19%–43% 的训练加速且不损失精度。
引用
@article{arxiv.2201.06227,
title = {Egeria: Efficient DNN Training with Knowledge-Guided Layer Freezing},
author = {Yiding Wang and Decang Sun and Kai Chen and Fan Lai and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2201.06227},
year = {2023}
}
备注
Accepted to EuroSys '23