中文

面向选择性扫描内核的熵导向运行时分块调度

计算机视觉与模式识别 2026-05-05 v3 人工智能

摘要

Mamba 选择性状态空间模型(SSMs)提供线性时间序列建模,但对选择性扫描分块调度敏感。我们提出 COREY,一个以概念和可行性为导向的运行时调度器,将固定区间激活熵映射到分块大小。我们在三个层级评估 COREY:原型成本模型、实时检查内核计时以及在现代 GPU 上的路由化端到端消化。 在内核层面,一个校准规则 Href=logKH_{\mathrm{ref}}=\log K 恢复局部最优分块,匹配一次性静态信使,使其对消费级 GPU 的延迟降低 4.41×4.41\times,对数据中心加速器的延迟降低 3.90×3.90\times--4.04×4.04\times。将此选择路由到补丁化的活跃扫描内核中闭合工程循环,但未提高端到端速度:在统一路由消化中,最佳静态分块超越所有熵导向和代理调度器。抽样直方图 COREY 增加 +4.6%+4.6\% 开销;受保护的回退到 Static-512 将其降低至 +1.3%+1.3\%;轻量级序列长度关键表进一步降低至 +0.7%+0.7\%。然而,两者仍慢于静态信使,因为它们保留了调度开销。在 80 提示 LongBench 子集上,被动和路由推理完全等效,具有 100%100\% 贪心 token 一致性和零指标变化。混合制度研究显示,单个序列长度规则可匹配每个制度的分块信使。因此,COREY 被验证为质量保护的调度原型,但当前熵统计在测量到的 SSM 检查点工作负载上未能实现吞吐量优势于静态分块调谐。

关键词

引用

@article{arxiv.2604.10597,
  title  = {COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels},
  author = {Bo Ma and Jinsong Wu and Weiqi Yan},
  journal= {arXiv preprint arXiv:2604.10597},
  year   = {2026}
}