AQPIM：面向LLM的内存内激活量化，突破PIM容量瓶颈

处理器内存储（PIM）架构为解决数据密集型机器学习中的存储瓶颈提供了有前景的解决方案，然而往往忽视了激活内存占用日益增长的挑战。传统PIM方法在Transformer模型长上下文场景中生成的大量KV缓存上困扰，常常超出PIM有限的存储容量，而稀疏注意力等技术可能与PIM对数据局部性的需求相冲突。现有PIM方法和量化技术往往不足或不适用于充分利用激活特性。本工作识别了以PIM为专用激活量化以提升带宽和计算效率的机遇。我们探索了基于聚类的向量量化方法，这些方法与激活特性相吻合，并与PIM的内部带宽能力相契合。基于此，我们引入AQPIM，一个基于产品量化（PQ）的新型PIM感知激活量化框架，针对现代大型语言模型（LLM）进行优化。通过在内存中直接执行量化，AQPIM利用PIM的高内部带宽，实现对压缩数据的直接计算，显著降低注意力计算的内存占用和计算开销。为解决PQ的精度挑战，AQPIM引入了若干算法优化。评估表明，AQPIM实现了显著的性能提升，显著降低了GPU-CPU间通信占解码延迟的90%~98.5%，并相较于SOTA PIM方法实现了3.4倍的加速。