基于可复用知识广播的高效多用户 AI 模型下载
信息论
2023-07-31 v1 人工智能
math.IT
摘要
对于 6G 移动网络,原位模型下载已成为实现边缘设备实时自适应人工智能的重要用例。然而,通过无线链路将多样且高维的模型同时下载到多个设备构成了显著的通信瓶颈。为克服该瓶颈,我们提出模型广播与组装(MBA)框架,这是首次尝试利用可复用知识(即任务间共享参数)实现参数广播以降低通信开销。MBA 框架包含两个关键组件。其一是 MBA 协议,定义了系统操作,包括从模型库进行参数选择、广播功率控制以及设备端模型组装。其二是参数选择-功率控制(PS-PC)联合设计,保障设备端模型性能并最小化下载时延。相应优化问题通过分解为顺序的 PS 与 PC 子问题而简化,且不损失最优性。PS 子问题通过设计两种高效算法求解。一方面,低复杂度的贪心参数选择算法以候选模型集构建和选择度量为特征,二者均依据任务间最大可复用知识准则设计。另一方面,最优树搜索算法通过所提出的紧凑二叉树构建(利用模型架构约束剪枝)与智能分支定界搜索获得效率。给定最优 PS,最优 PC 策略以闭式导出。大量实验表明,相较传统模型下载,所提 MBA 实现了下载时延的大幅降低。
引用
@article{arxiv.2307.15316,
title = {Efficient Multiuser AI Downloading via Reusable Knowledge Broadcasting},
author = {Hai Wu and Qunsong Zeng and Kaibin Huang},
journal= {arXiv preprint arXiv:2307.15316},
year = {2023}
}
备注
Submitted to IEEE for possible publication