BitROM：面向十亿参数 1.58 位 LLM 推理的无重载 CiROM 架构
硬件体系结构
2026-04-02 v1
摘要
计算-读取-只读内存（CiROM）加速器通过消除运行时权重更新，实现了 CNN 的卓越能效。然而，其在大型语言模型（LLM）中的可扩展性受限于庞大的参数规模。值得注意的是，LLaMA-7B——LLaMA 系列中最小的模型——即便在先进 CMOS 节点上也需要超过 1,000 平方厘米的硅面积。本文提出 BitROM，首个基于 CiROM 的加速器，通过与 BitNet 的 1.58 位量化模型协同设计，实现了面向边缘设备的实用且高效的 LLM 推理。BitROM 引入三项关键创新：1）一种 novel 双向 ROM 数组，每晶体管存储两个三值权重；2）针对三值权重计算优化的三模态局部累加器；3）集成的解码-刷新（DR）eDRAM 支持芯片内 KV-cache 管理，显著减少解码期间的外部存储器访问。此外，BitROM 集成 LoRA-based 适配器，以支持各种下游任务的高效迁移学习。在 65nm CMOS 上，BitROM 实现 20.8 TOPS/W 的能效和 4,967 kB/mm2 的比特密度，相较于先前的数字 CiROM 设计实现面积效率提升 10 倍。此外，DR eDRAM 带来 43.6% 的外部 DRAM 访问减少，进一步提升了 LLM 在边缘应用中的部署效率。
引用
@article{arxiv.2509.08542,
title = {BitROM: Weight Reload-Free CiROM Architecture Towards Billion-Parameter 1.58-bit LLM Inference},
author = {Wenlun Zhang and Xinyu Li and Shimpei Ando and Kentaro Yoshioka},
journal= {arXiv preprint arXiv:2509.08542},
year = {2026}
}
备注
Accepted to ASP-DAC 2026