COBRA：状态空间模型的灾难性位翻转可靠性分析
密码学与安全
2025-12-23 v2 机器学习
摘要
状态空间模型（SSMs），以 Mamba 架构为例，最近作为线性时间可扩展性及在长上下文场景中表现突出的序列建模框架而成为最先进的技术。凭借其独特的效率、可扩展性和表达能力，SSMs 正成为变压器基模型的有力替代方案，而后者因注意力机制的二次计算和内存成本而受限。随着 SSMs 在实际应用中日益广泛部署，评估其对软件和硬件层面威胁的易感性至关重要，以确保其安全可靠运行。其中，由硬件引起的位翻转攻击（BFA）构成尤为严重的风险，通过内存故障破坏模型参数，从而破坏模型准确率和功能完整性。为调查此漏洞，我们引入 RAMBO——首个专为针对 Mamba 架构设计的 BFA 框架。通过在 Mamba-1.4b 模型上进行实验，采用 LAMBADA 基准测试（一个 cloze 式词汇预测任务），我们展示了仅翻转一个关键位即可将准确率从 74.64% 降至 0%，将困惑度从 18.94 增至 3.75×10^6。这些结果表明，SSMs 对对抗性扰动极其脆弱。
引用
@article{arxiv.2512.15778,
title = {COBRA: Catastrophic Bit-flip Reliability Analysis of State-Space Models},
author = {Sanjay Das and Swastik Bhattacharya and Shamik Kundu and Arnab Raha and Souvik Kundu and Kanad Basu},
journal= {arXiv preprint arXiv:2512.15778},
year = {2025}
}