超规模彩票:状态空间模型如何牺牲边缘效率
硬件体系结构
2026-04-10 v1
摘要
硬件彩票假说认为,研究方向由可用硅片计算平台决定。我们识别出一种衍生现象,即超规模彩票,使得模型架构为云端吞吐量优化,而牺牲了算法效率。虽然状态空间模型(SSMs)如Mamba因其线性复杂度在边缘智能领域备受赞誉,但其从Mamba-1到Mamba-3的演进揭示了其与边缘原生效率之间系统性的偏离。我们展示,Mamba-3的架构变更旨在充分利用超规模GPU,却对边缘端造成显著惩罚:在880M参数下延迟增加28%,至于15M参数模型则增加48%。我们主张将云端规模饱和策略与核心架构设计分离,以保持单用户、实时边缘智能的可行性。
引用
@article{arxiv.2604.07935,
title = {The Hyperscale Lottery: How State-Space Models Have Sacrificed Edge Efficiency},
author = {Robin Geens and Jonas De Schouwer and Marian Verhelst and Thierry Tambe},
journal= {arXiv preprint arXiv:2604.07935},
year = {2026}
}