面向最大推理精度和能效实时物联网传感系统的选择性任务卸载
机器学习
2024-03-03 v1 人工智能
神经与进化计算
摘要
小型推理模型的最新进展促进了 AI 在边缘端的部署。然而，边缘设备资源的局限性为实时应用带来了新的挑战。部署多个大小不同因而精度和功耗各异的推理模型（或单个可调节模型），再加上边缘服务器推理模型，可以提供一个动态系统，其中推理模型到推理任务的分配是根据当前资源条件执行的。因此，在本工作中，我们解决了选择性地将推理模型分配给任务或将其卸载到边缘服务器以在时间和能量约束下最大化推理精度的问题。该问题被证明是无界多维背包问题的一个实例，被认为是一个强 NP 难问题。我们提出了一种轻量级混合遗传算法 (LGSTO) 来解决此问题。我们引入了终止条件和邻域探索技术以加速种群的进化。我们将 LGSTO 与朴素解法和动态规划解法进行了比较。此外，还与使用不同繁殖方法的经典遗传算法（包括 NSGA-II）进行了比较，最后与其他进化方法如粒子群优化 (PSO) 和蚁群优化 (ACO) 进行了比较。实验结果表明，LGSTO 的执行速度比最快的可比方案快 3 倍，同时生成的调度具有更高的平均精度。
引用
@article{arxiv.2402.16904,
title = {Selective Task offloading for Maximum Inference Accuracy and Energy efficient Real-Time IoT Sensing Systems},
author = {Abdelkarim Ben Sada and Amar Khelloufi and Abdenacer Naouri and Huansheng Ning and Sahraoui Dhelim},
journal= {arXiv preprint arXiv:2402.16904},
year = {2024}
}