IsoSched：基于子图同构的多 DNN 抢占式分块级联调度
摘要
部署采用层时间调度（Layer Temporal Scheduling, LTS）的深度神经网络（DNN）加速器常带来显著开销（如能耗和延迟），因为中间激活值必须缓存在 DRAM 中。为缓解此问题，分块空间调度（Tile Spatial Scheduling, TSS）通过将层间数据切分为更小的分块并经由片上链路通信，从而降低了此类开销。然而，许多新兴应用要求具有复杂拓扑的多个 DNN 并发执行，其中关键任务必须抢占其他任务以满足严格的延迟要求（例如，在自动驾驶中，障碍物检测必须在几十毫秒内完成）。现有 TSS 研究缺乏对抢占的支持，而先前的抢占方案依赖 LTS，因此继承了其开销。这凸显了对基于 TSS 的高效抢占式框架的需求。然而，由于在具有大规模拓扑的图中实现抢占的复杂性（例如，现代大语言模型可能包含数万条边），实现此类系统极具挑战。为解决此问题，我们提出了 IsoSched，这是首个在 TSS 架构上实现多 DNN 抢占式调度的框架。IsoSched 首先将复杂拓扑图的调度形式化为整数线性规划（Integer-Linear Program, ILP）和子图同构问题；其次，应用层拼接与分割（Layer Concatenate and Split, LCS）以在分块流水线中实现负载均衡；第三，采用由蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）增强的基于 Ullmann 的算法来加速子图匹配，并使用紧凑矩阵编码（即压缩稀疏行，Compressed Sparse Row, CSR）以减少内存使用。IsoSched 在延迟受限吞吐量（Latency-Bound Throughput, LBT）、加速比和能效方面优于 LTS-PRM 方法（即 PREMA、Planaria、CD-MSA、MoCA），并在不同任务复杂度下实现了比 TSS-NPRM（即 HASP）更高的关键任务满足率。
引用
@article{arxiv.2509.12208,
title = {IsoSched: Preemptive Tile Cascaded Scheduling of Multi-DNN via Subgraph Isomorphism},
author = {Boran Zhao and Zihang Yuan and Yanbin Hu and Haiming Zhai and Haoruo Zhang and Wenzhe Zhao and Tian Xia and Pengju Ren},
journal= {arXiv preprint arXiv:2509.12208},
year = {2025}
}