使 DNN 压缩与协作训练匹配资源与数据可用性
机器学习
2022-12-06 v1 网络与互联网体系结构
摘要
为使机器学习（ML）可持续并适于在拥有相关数据各类设备上运行，按需压缩 ML 模型同时仍满足所需学习质量与时间性能至关重要。然而，ML 模型应压缩多少、何时压缩以及其训练应在何处执行，是难以做出的决策，因为这些取决于模型本身、可用节点的资源以及这些节点所拥有的数据。现有研究单独关注上述各方面，但未考虑此类决策如何联合制定并相互适应。本工作中，我们建模聚焦于 DNN 训练的网络系统，形式化上述多维问题，并鉴于其 NP 难性，公式化一个近似动态规划问题，通过 PACT 算法框架求解。重要的是，PACT 利用表示学习过程的时间扩展图，以及用于预测训练决策所导致损失演化的数据驱动与理论方法。我们证明 PACT 的解可在时间复杂度增加的代价下任意接近最优，且无论如何该复杂度均为多项式。数值结果还表明，即使在最不利设置下，PACT 也优于最先进替代方案并紧密匹配最优能量成本。
引用
@article{arxiv.2212.02304,
title = {Matching DNN Compression and Cooperative Training with Resources and Data Availability},
author = {Francesco Malandrino and Giuseppe Di Giacomo and Armin Karamzade and Marco Levorato and Carla Fabiana Chiasserini},
journal= {arXiv preprint arXiv:2212.02304},
year = {2022}
}