Bishop：基于误差约束剪枝的异构核心稀疏打包脉冲变换器
神经与进化计算
2025-05-20 v1
摘要
我们提出Bishop，这是首个专为脉冲变换器设计的硬件加速器架构及硬件/软件协同设计框架，能够最佳地表示、管理和处理脉冲工作负载，同时探索时空稀疏性和数据复用。具体而言，我们引入了“Token-Time Bundle（TTB）”的概念，这是一种将一组标记在多个时间点上的脉冲数据捆绑为容器的机制。Bishop的异构加速器架构能够并行处理封装于TTB中的工作负载，探索单元内及跨捆绑的多位权重复用，从而显著降低内存访问。Bishop采用分层器、密集核心阵列和稀疏核心阵列三种结构来处理MLP模块和投影层。分层器将高密度脉冲激活工作负载路由到密集核心，将低密度 counterpart 路由到稀疏核心，确保针对给定时空稀疏水平进行优化处理。为进一步降低数据访问和计算开销，我们提出了一种新的基于误差约束的捆包稀疏性训练管线，该管线不仅提升整体性能，还增强了结构化的TTB级放电稀疏性。此外，通过提出的误差约束TTB剪枝（ECP），在脉冲查询、键和值计算前后均以明确的误差界裁剪脉冲注意力图的活动，从而提升自注意力层的处理效率。最后，我们设计了可重构的TTB脉冲注意力核心，通过执行高度简化的“与”和“累积”运算，高效计算脉冲注意力图。在多个数据集上，Bishop平均实现了5.91倍加速和6.11倍能源效率提升，同时在多个数据集上实现更高的准确率。
引用
@article{arxiv.2505.12281,
title = {Bishop: Sparsified Bundling Spiking Transformers on Heterogeneous Cores with Error-Constrained Pruning},
author = {Boxun Xu and Yuxuan Yin and Vikram Iyer and Peng Li},
journal= {arXiv preprint arXiv:2505.12281},
year = {2025}
}