面向隐私保护的无线协作混合专家：PWC-MoE
机器学习
2025-05-14 v1 人工智能
摘要
大型语言模型（LLM）托管在云服务器上可减轻本地设备的计算和存储负担，但由于敏感数据传输和大量通信带宽需求，引发隐私顾虑，在受限环境中实现具有挑战。相比之下，运行在本地的小型语言模型（SLM）提升了隐私，但在复杂任务上性能有限。为在带宽受限的情况下平衡计算成本、性能和隐私保护，我们提出一种隐私感知无线协作混合专家（PWC-MoE）框架。具体而言，PWC-MoE 采用稀疏隐私感知门控网络，动态将敏感 token 路由至本地客户端上的隐私专家，而将非敏感 token 路由至远程基站上的非隐私专家。为实现计算效率，门控网络确保每个 token 仅动态路由至并由单个专家处理。为提升可扩展性并防止特定专家过载，我们引入了门控网络的组级负载平衡机制，使敏感 token 在隐私专家之间均匀分布，非敏感 token 在非隐私专家之间均匀分布。为在保持模型性能的同时适应带宽限制，我们提出一种带宽自适应且重要性感知的 token 卸载方案。该方案引入重要性预测器以评估非敏感 token 的重要性得分，基于预测得分和可用带宽，优先传输最重要的 token 至基站。实验表明，PWC-MoE 框架在带宽受限环境下有效保持隐私并维持高性能，为在隐私敏感且带宽受限的场景中部署 LLM 提供了实用方案。
引用
@article{arxiv.2505.08719,
title = {PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts},
author = {Yang Su and Na Yan and Yansha Deng and Robert Schober},
journal= {arXiv preprint arXiv:2505.08719},
year = {2025}
}