GenAI于边缘设备：赋能边缘设备的综合性调查

Mozhgan Navardi; Romina Aalishah; Yuzhe Fu; Yueqian Lin; Hai Li; Yiran Chen; Tinoosh Mohsenin

GenAI于边缘设备：赋能边缘设备的综合性调查

分布式、并行与集群计算 2025-02-25 v1

作者: Mozhgan Navardi , Romina Aalishah , Yuzhe Fu , Yueqian Lin , Hai Li , Yiran Chen , Tinoosh Mohsenin

摘要

生成式人工智能（GenAI）应用诸如大型语言模型（LLM）和基础模型（FM）等模型与算法，用于生成新数据。作为一种前景广阔的技术，GenAI在包括文本生成和图像处理等各种应用中实现了 advanced capabilities。目前，GenAI算法主要运行在云端服务器，导致高延迟并引发安全问题。因此，这些挑战促使将GenAI算法部署到边缘设备上。然而，这些模型的大规模参数量以及显著的计算资源需求，构成了在资源受限的系统中部署的障碍。本综述提供了关于如何优化GenAI以高效部署于资源受限边缘设备的近期研究技术的全面概述。为此目的，本文突出了三大类别：软件优化、硬件优化和框架。对于本综述的读者而言，主要收获将为在边缘设备上设计、实现和优化GenAI系统提供清晰的路线图，以支持实际应用。

关键词

生成式AI 边缘计算模型优化资源受限系统 LLM部署

引用

@article{arxiv.2502.15816,
  title  = {GenAI at the Edge: Comprehensive Survey on Empowering Edge Devices},
  author = {Mozhgan Navardi and Romina Aalishah and Yuzhe Fu and Yueqian Lin and Hai Li and Yiran Chen and Tinoosh Mohsenin},
  journal= {arXiv preprint arXiv:2502.15816},
  year   = {2025}
}

备注

AAAI 2025 Spring Symposium Series (SSS), GenAI@Edge: Empowering Generative AI at the Edge Symposium

GenAI于边缘设备：赋能边缘设备的综合性调查

摘要

关键词

引用

备注

相关论文