基于分层注意力拼接的 6G 网络 LLM 分布式键值推理框架 EdgePrompt
信号处理
2025-04-17 v1
摘要
随着六代（6G）网络的不断发展，大型语言模型（LLM）正日益融入 6G 基础设施，以提升网络管理和智能化水平。然是，传统的 LLM 架构难以满足 6G 对延迟和安全性的严格要求，尤其是随着序列长度的增加导致任务复杂度的提升。本文提出 EdgePrompt，一种基于分层注意力拼接机制的云边协同框架。EdgePrompt 采用分布式键值（KV）对优化技术以加速推理并适应网络条件。此外，为降低数据泄露风险，EdgePrompt 引入隐私保护策略，在处理过程中隔离敏感信息。公开数据集上的实验表明，EdgePrompt 有效提升了推理吞吐量并降低了延迟，为 6G 环境下的 LLM 部署提供了可靠解决方案。
引用
@article{arxiv.2504.11729,
title = {EdgePrompt: A Distributed Key-Value Inference Framework for LLMs in 6G Networks},
author = {Jiahong Ning and Pengyan Zhu and Ce Zheng and Gary Lee and Sumei Sun and Tingting Yang},
journal= {arXiv preprint arXiv:2504.11729},
year = {2025}
}