托管保留存储器：面向 AI 时代的一类新型存储器
硬件体系结构
2025-01-17 v1 人工智能
分布式、并行与集群计算
新兴技术
摘要
当今的 AI 集群是高带宽存储器（HBM）的主要应用之一。然而，由于若干原因，HBM 对于 AI 工作负载而言并非最优。分析表明，HBM 在写性能上配置过剩，而在密度和读带宽上配置不足，并且具有显著的每比特能耗开销。由于制造复杂性，其良率低于 DRAM 且成本高昂。我们提出了一类新型存储器：托管保留存储器（MRM），它针对存储 AI 推理工作负载的关键数据结构进行了更优化的设计。我们认为，MRM 最终可能为那些最初为支持存储级存储器（SCM）而提出的技术提供一条可行路径。这些技术传统上提供长期持久性（10 年以上），但 IO 性能和/或耐久性较差。MRM 做出了不同的权衡，通过理解工作负载的 IO 模式，MRM 放弃了长期数据保留和写性能，以换取在这些工作负载所关注的指标上更好的潜在性能。
引用
@article{arxiv.2501.09605,
title = {Managed-Retention Memory: A New Class of Memory for the AI Era},
author = {Sergey Legtchenko and Ioan Stefanovici and Richard Black and Antony Rowstron and Junyi Liu and Paolo Costa and Burcu Canakci and Dushyanth Narayanan and Xingbo Wu},
journal= {arXiv preprint arXiv:2501.09605},
year = {2025}
}
备注
8 pages (5 content + 3 refs); 1 figure