面向选择性扫描内核的熵导向运行时分块调度
计算机视觉与模式识别
2026-05-05 v3 人工智能
摘要
Mamba 选择性状态空间模型(SSMs)提供线性时间序列建模,但对选择性扫描分块调度敏感。我们提出 COREY,一个以概念和可行性为导向的运行时调度器,将固定区间激活熵映射到分块大小。我们在三个层级评估 COREY:原型成本模型、实时检查内核计时以及在现代 GPU 上的路由化端到端消化。 在内核层面,一个校准规则 恢复局部最优分块,匹配一次性静态信使,使其对消费级 GPU 的延迟降低 ,对数据中心加速器的延迟降低 --。将此选择路由到补丁化的活跃扫描内核中闭合工程循环,但未提高端到端速度:在统一路由消化中,最佳静态分块超越所有熵导向和代理调度器。抽样直方图 COREY 增加 开销;受保护的回退到 Static-512 将其降低至 ;轻量级序列长度关键表进一步降低至 。然而,两者仍慢于静态信使,因为它们保留了调度开销。在 80 提示 LongBench 子集上,被动和路由推理完全等效,具有 贪心 token 一致性和零指标变化。混合制度研究显示,单个序列长度规则可匹配每个制度的分块信使。因此,COREY 被验证为质量保护的调度原型,但当前熵统计在测量到的 SSM 检查点工作负载上未能实现吞吐量优势于静态分块调谐。
引用
@article{arxiv.2604.10597,
title = {COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels},
author = {Bo Ma and Jinsong Wu and Weiqi Yan},
journal= {arXiv preprint arXiv:2604.10597},
year = {2026}
}