CXLAimPod:AI 时代的 CXL 内存是唯一需要的
操作系统
2025-08-25 v1
摘要
数据密集型应用(如大型语言模型和键值存储)的不断增长,日益冲击内存系统,尤其是在混合读写访问模式下。传统的半双工架构(如 DDR5)在此类工作负载下表现不佳,因 Bus turnaround 带来性能惩罚,有效带宽受到混合读写模式的限制。计算表达链路(CXL)通过全双工通道提供了突破性方案,但现有软件堆栈未能充分发挥这一能力。本文引入 CXLAimPod,一个自适应调度框架,通过系统支持(包括基于 cgroup 的应用感知优化提示)来弥合软件与硬件之间的鸿沟。我们的表征分析量化了这一机会,表明在读写比例平衡时,CXL 系统相较于平坦的 DDR5 性能提升 55%-61%,充分展示了全双工架构的优势。为实现这一潜力,CXLAimPod 框架集成了多种调度策略,结合 cgroup 基于提示机制,在吞吐量、延迟与开销之间进行权衡。该框架高效地集成到 Linux 内核的 eBPF 中,相较于默认的 CXL 配置显著提升性能。在多样化工作负载测试中,Redis 平均提升 7.4%(特定顺序模式最高可达 150%),LLM 文本生成提升 71.6%,向量数据库提升 9.1%,证明了全双工感知调度能够有效利用 CXL 的架构优势。
引用
@article{arxiv.2508.15980,
title = {CXLAimPod: CXL Memory is all you need in AI era},
author = {Yiwei Yang and Yusheng Zheng and Yiqi Chen and Zheng Liang and Kexin Chu and Zhe Zhou and Andi Quinn and Wei Zhang},
journal= {arXiv preprint arXiv:2508.15980},
year = {2025}
}