PIMphony：面向长上下文 LLM 推理系统的 PIM 带宽与容量效率突破
硬件体系结构
2025-12-29 v3 人工智能
摘要
大型语言模型（LLM）的长上下文扩展带来了显著的存储系统挑战。虽然处理器内存储（PIM）是一种有前景的加速器，但我们发现其在扩展到长上下文时存在严重的效率问题：通道严重 underutilization、性能限制的 I/O 瓶颈，以及由于静态 KV 缓存管理导致的大量内存浪费。本文提出 PIMphony，一个 PIM 编排器，通过三项协同设计技术系统性地解决上述问题。首先，Token-Centric PIM Partitioning（TCP）确保无论 batch 大小如何都能实现高通道利用率。其次，Dynamic PIM Command Scheduling（DCS）通过重叠数据移动和计算来缓解 I/O 瓶颈。最后，Dynamic PIM Access（DPA）控制器实现动态内存管理，以消除静态内存浪费。我们通过基于 MLIR 的编译器实现，并在周期精确的仿真器上进行评估，PIMphony 在长上下文 LLM 推理中显著提升了吞吐量（最高达 720 亿参数和 100 万上下文长度）。我们的评估显示，在仅使用 PIM 系统上提升最高可达 11.3 倍，在 xPU+PIM 系统上提升最高可达 8.4 倍，使 LLM 在实际长上下文应用中得以更高效地部署。
引用
@article{arxiv.2412.20166,
title = {PIMphony: Overcoming Bandwidth and Capacity Inefficiency in PIM-based Long-Context LLM Inference System},
author = {Hyucksung Kwon and Kyungmo Koo and Janghyeon Kim and Woongkyu Lee and Minjae Lee and Gyeonggeun Jung and Hyungdeok Lee and Yousub Jung and Jaehan Park and Yosub Song and Byeongsu Yang and Haerang Choi and Guhyun Kim and Jongsoon Won and Woojae Shin and Changhyun Kim and Gyeongcheol Shin and Yongkee Kwon and Ilkon Kim and Euicheol Lim and John Kim and Jungwook Choi},
journal= {arXiv preprint arXiv:2412.20166},
year = {2025}
}
备注
21 pages, 20 figures, Accepted to 2026 IEEE International Symposium on High-Performance Computer Architecture