NASiC：基于 3D NAND 的 CAM 选中多位 CIM 架构用于高效设备端 Mixture-of-Experts LLM 推理
硬件体系结构
2026-05-25 v1
摘要
Mixture-of-Experts (MoE) 模型已成为扩大大语言模型 (LLM) 规模而不成比例增加计算成本的前沿方法，但其设备端部署面临存储所有专家参数需大量内存的关键挑战。3D NAND 基于存储器的计算 (CIM) 架构独特地提供了高存储容量和减少数据移动的优势，然而其不适用于具有动态稀疏专家激活的 MoE 模型，导致有效计算并行度下降，Flash 单元的多位存储能力被低效利用。本文提出一种称为 NASiC 的 3D NAND 基于内容寻址选取的 CIM 架构，专为 MoE 模型设计。通过利用 3D NAND 技术的固有字符串结构，NASiC 将通过 CAM 基于掩码机制的动态专家选择与通过 CIM 的激活专家计算融合为单个计算周期，消除冗余计算并提升计算并行度。此外，协同设计了电路级优化和多位 CIM 单元，特点是块级并行计算的原位带符号多位输入和权重扩展，显著提高了 NAND CIM 阵列的吞吐量和能源效率，以及高密度 3D NAND 技术在 MoE 模型中的利用率。通过大量实验结果，我们展示 NASiC 在性能提升 4-114.8 倍、能源效率提升 3.9-70 倍的同时保持高精度，显示其在高效设备端 MoE LLM 推理方面的巨大潜力。
引用
@article{arxiv.2605.23294,
title = {NASiC: 3D NAND-based CAM-Selected Multibit CIM Architecture for Efficient On-Device Mixture-of-Experts LLM Inference},
author = {Weikai Xu and Meng Li and Shuzhang Zhong and Tianyang Luo and Dongxue Zhao and Ling Liang and Zongwei Wang and Qianqian Huang and Yimao Cai and Ru Huang},
journal= {arXiv preprint arXiv:2605.23294},
year = {2026}
}
备注
Accepted by DAC 2026