MoEcho：利用侧信道攻击破坏混合专家大语言模型中的用户隐私

Transformer架构已成为现代人工智能的基石，推动了自然语言处理、计算机视觉和多模态学习等应用的显著进步。随着这些模型为追求性能而持续爆炸式扩展，实现效率仍然是一个关键挑战。混合专家（MoE）架构通过选择性激活专门的子网络（专家），在模型精度和计算成本之间提供了独特的平衡。然而，MoE架构中的自适应路由机制，即根据输入令牌的语义将其动态导向特定专家，无意中为隐私泄露开辟了新的攻击面。这些依赖于输入的激活模式在硬件执行中留下了独特的时间和空间痕迹，攻击者可能利用这些痕迹来推断敏感的用户数据。在这项工作中，我们提出了MoEcho，发现了一种基于侧信道分析的攻击面，该攻击面会破坏基于MoE系统上的用户隐私。具体而言，在MoEcho中，我们在不同的计算平台上引入了四种新颖的架构侧信道，包括CPU上的缓存占用信道和Pageout+Reload，以及GPU上的性能计数器和TLB Evict+Reload。利用这些漏洞，我们提出了四种有效破坏基于MoE架构的大语言模型（LLM）和视觉语言模型（VLM）中用户隐私的攻击：提示推断攻击、响应重建攻击、视觉推断攻击和视觉重建攻击。MoEcho是首次对现代Transformer中常见的MoE结构进行运行时架构级安全分析，揭示了一个严重的安全和隐私威胁，并呼吁在利用基于MoE的模型开发高效大规模AI服务时，采取有效且及时的防护措施。