面向3D S-NUCA Many-Core系统的热与核感知LFM推理的主动模仿学习
机器学习
2026-04-15 v1 硬件体系结构
摘要
大型基础模型（LFM）推理既内存密集又计算密集，传统上依赖GPU。然而，由于GPU可用性有限且成本高昂，促使采用高性能通用CPU，尤其是新兴的3D堆叠Static Non-Uniform Cache Architecture（3D S-NUCA）系统。这些体系结构提供增强的带宽和局部性，但因3D网络芯片（NoC）受到严重的热问题和不均匀缓存延迟的制约。由于LFM kernel的多样性和系统异构性，合理管理线程迁移和V/f scaling是非trivial的。现有的热管理方法往往依赖过于简化的分析模型，缺乏适应性。我们提出AILFM，一个基于主动模仿学习（AIL）的调度框架，从Oracle演示中学习近似最优的热感知调度策略，同时保持最小的运行时开销。AILFM考虑LFM中核心级性能异构性和kernel特定行为，以维持热安全性同时最大化性能。大量实验表明，AILFM在各种LFM工作负载上均优于最先进的基线方法，并表现出良好的概括性。
引用
@article{arxiv.2604.11948,
title = {Active Imitation Learning for Thermal- and Kernel-Aware LFM Inference on 3D S-NUCA Many-Cores},
author = {Yixian Shen and Chaoyao Shen and Jan Deen and George Floros and Andy Pimentel and Anuj Pathania},
journal= {arXiv preprint arXiv:2604.11948},
year = {2026}
}
备注
Accepted for publication at the 63rd ACM/IEEE Design Automation Conference (DAC 2026)