基于查找表的 1.58 位 LLM 推理硬件生成与探索
硬件体系结构
2026-04-29 v1
摘要
三值权重量化（如 BitNet b1.58）为缓解大语言模型 (LLM) 推理中的内存带宽瓶颈提供了可行路径。然而，传统计算平台缺乏对三值权重算术的原生支持，往往依赖低效的解量化操作。查找表 (LUT) 基于硬件架构提供了有效替代方案，通过用条件加法取代乘法，但其设计空间基本未被探索。现有设计依赖启发式参数选择，缺乏对架构权衡的系统性理解。本工作通过形式化三值 LUT 基础加速器的设计空间，提出一个结合分析成本模型的开源硬件生成器，并在TSMC 16nm工艺中验证有效性。通过覆盖整个架构空间，该框架不仅 enables 快速设计空间探索，还为公平的跨设计评估奠定了统一基准——此前因不同加速器实现不一致而受阻。我们挑战了近期文献中的若干假设和设计选择。我们表明，最优架构根本取决于激活数据类型：虽然LUT 基于的复用对高成本算术（如FP16）显著提升，但对小整数类型收益有限。此外，我们表明最大化核心尺寸持续优于高度分块方法在面积密度方面表现更佳。我们优化后的设计相较于乘法基线实现面积降低2.2倍。此外，通过对比最新实现与我们的模型，我们发现纠正次优参数可实现最高1.2倍的面积提升。
引用
@article{arxiv.2604.25183,
title = {Hardware Generation and Exploration of Lookup Table-Based Accelerators for 1.58-bit LLM Inference},
author = {Robin Geens and Joran Heldens and Joren Dumoulin and Marian Verhelst},
journal= {arXiv preprint arXiv:2604.25183},
year = {2026}
}
备注
Presented as ISPASS 2026