低秩意味着低安全性：针对分布式LoRA基LLM系统的梯度装配毒化攻击
广义相对论与量子宇宙学
2026-01-13 v1 高能物理 - 理论
摘要
低秩适应（LoRA）已成为在联邦设置下微调大型语言模型（LLM）的流行解决方案，通过引入可训练的低秩矩阵大幅减少更新成本。然而，当与FedIT等框架集成时，LoRA会引入一个关键漏洞：客户端分别提交矩阵A和B，而只有它们的乘积AB决定模型更新，然而该复合物从未被直接验证。我们提出梯度装配毒化（GAP），这是一种新型攻击，利用了这一盲点，通过构建产生恶意更新的各自良好A和B矩阵来利用此漏洞。GAP无需访问训练数据或客户端间协调即可运行，且不被标准异常检测器检测。我们识别了LoRA基于联邦系统中的四个系统性漏洞，并在LLaMA、ChatGLM和GPT-2上验证了GAP。GAP持续引发输出退化或偏差，同时保持表面流畅性，BLEU降低最高可达14.5%，事实性和语法错误增多超过800%，且保持92.6%的长篇回复长度。这些结果揭示了分布式LoRA微调中新型隐蔽、持久的威胁。
引用
@article{arxiv.2601.00565,
title = {Uniqueness of electric-magnetic spacetimes with massive particle},
author = {Marek Rogatko},
journal= {arXiv preprint arXiv:2601.00565},
year = {2026}
}
备注
24 pages, RevTEx, to be published in Phys.Rev.D15