一种面向NOMA边缘智能的QoE感知分割推理加速算法
机器学习
2024-09-26 v1
摘要
尽管人工智能已被广泛使用并显著改变了我们的生活，但将大型AI模型直接部署在资源受限的边缘设备上是不合适的。因此，提出了模型分割推理来提高边缘智能的性能，其中AI模型被划分为不同的子模型，资源密集型的子模型被无线卸载到边缘服务器，以减少资源需求和推理延迟。然而，以前的工作主要集中在改进和优化系统QoS上，忽略了QoE的影响，而QoE是除QoS之外对用户而言的另一个关键因素。尽管QoE在边缘计算(EC)中已被广泛研究，但考虑到EC中的任务卸载与边缘智能(EI)中的分割推理之间的差异，以及EC和EI中仍未解决的QoE具体问题，这些算法在边缘分割推理场景中无法有效工作。因此，本文提出了一种有效的资源分配算法，用于加速EI中的分割推理，并实现推理延迟、QoE和资源消耗之间的权衡，简称为ERA。具体而言，ERA考虑了资源消耗、QoE和推理延迟，以寻找最优的模型分割策略和资源分配策略。由于最小推理延迟和资源消耗以及最大QoE无法同时满足，因此采用基于梯度下降的算法来寻找它们之间的最佳权衡。此外，开发了循环迭代GD方法以降低由参数离散化引起的GD算法的复杂性。此外，研究了所提出算法的性质，包括收敛性、复杂性和近似误差。实验结果表明，ERA的性能远优于以前的研究。
引用
@article{arxiv.2409.16537,
title = {A QoE-Aware Split Inference Accelerating Algorithm for NOMA-based Edge Intelligence},
author = {Xin Yuan and Ning Li and Quan Chen and Wenchao Xu and Zhaoxin Zhang and Song Guo},
journal= {arXiv preprint arXiv:2409.16537},
year = {2024}
}
备注
16pages, 19figures. arXiv admin note: substantial text overlap with arXiv:2312.15850