面向宽带信道上分区边缘学习的自适应子载波、参数与功率分配
信息论
2021-03-19 v2 机器学习
math.IT
摘要
在本文中，我们考虑分区边缘学习（PARTEL），它在无线网络中实现了一种著名的分布式学习方法——参数服务器训练。因此，PARTEL 利用边缘设备的分布式计算资源，通过将模型动态划分为参数块以在设备上进行分离更新，来训练大规模人工智能（AI）模型。针对宽带信道，我们考虑联合控制参数分配、子信道分配和传输功率，以提高 PARTEL 的性能。具体而言，在最小学习延迟准则下优化了子载波、参数和功率联合分配（SUPPORT）策略。考虑了两种情况。首先，对于可分解模型（如逻辑回归），延迟最小化问题是一个混合整数规划且非凸。由于其难处理性，我们通过整数松弛并将其转化为延迟约束下模型尺寸最大化的等价凸问题，开发了一种实用的解决方案。由此，设计了一种低复杂度算法来计算 SUPPORT 策略。其次，考虑深度神经网络（DNN）模型的情况，可以通过引入一些辅助变量使用 PARTEL 进行训练。然而，这引入了对模型划分的约束，降低了参数分配的粒度。通过应用所提出的负载取整和比例调整技术，以控制由负载粒度约束引起的延迟扩展，将前述策略扩展到了 DNN 模型。
引用
@article{arxiv.2010.04061,
title = {Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels},
author = {Dingzhu Wen and Ki-Jun Jeon and Mehdi Bennis and Kaibin Huang},
journal= {arXiv preprint arXiv:2010.04061},
year = {2021}
}