以跨层优化实现资源高效 AIoT 系统:一项综述
机器学习
2023-09-28 v1 人工智能
分布式、并行与集群计算
摘要
人工智能物联网(AIoT,即 AI+IoT)这一新兴领域由智能基础设施的广泛使用以及深度学习(DL)的显著成功所驱动。随着 DL 部署于具备丰富传感器但 DL 计算能力较弱的各类智能基础设施上,多种多样的 AIoT 应用得以实现。然而,DL 模型以资源密集著称。现有研究致力于在资源稀缺的基础设施上,利用 AIoT 数据集实现 AIoT 实时数据的近实时/实时推理与低成本训练。相应地,DL 模型的准确性与响应能力受限于资源可用性。为此,联合优化资源友好型 DL 模型与模型自适应系统调度的算法-系统协同设计,提升了运行时资源可用性,从而推高了独立层面所设定的性能边界。与以往关于资源友好型 DL 模型或仅对部分组件进行微调的定制 DL 编译器/框架的综述不同,本综述旨在提供更广阔的优化空间,以实现更自由的资源-性能权衡。跨层优化图景涉及多种粒度,包括设备端与分布式范式下的 DL 模型、计算图、算子、内存调度与硬件指令。此外,由于 AIoT 上下文具有动态性——涵盖异构硬件、未知感知数据、变化的用户指定性能需求及资源约束——本综述探讨了用于自动跨层适应的上下文感知设备间/设备内控制器。我们还指出了资源高效 AIoT 系统的一些潜在方向。通过整合分散于不同层面的问题与技术,我们旨在帮助读者理解其联系并激发进一步讨论。
引用
@article{arxiv.2309.15467,
title = {Enabling Resource-efficient AIoT System with Cross-level Optimization: A survey},
author = {Sicong Liu and Bin Guo and Cheng Fang and Ziqi Wang and Shiyan Luo and Zimu Zhou and Zhiwen Yu},
journal= {arXiv preprint arXiv:2309.15467},
year = {2023}
}