在脑处理单元上加速视觉变换器
计算机视觉与模式识别
2026-02-09 v1 人工智能
摘要
随着深度学习技术的发展，专用神经处理硬件如脑处理单元（BPU）作为针对 CNN 加速的专用平台，提供了针对卷积运算的优化 INT8 计算能力。而视觉变换器（Vision Transformer，ViT）模型，如数据高效视觉变换器（DeiT），已显示出优越性能并在计算机视觉任务中发挥越来越重要的作用。然而，由于 CNN 优化硬件与视觉变换器计算特性之间的架构不匹配——即变换器中的线性层在三维数据上 operate，而 BPU 加速设计用于四维卷积运算——在部署视觉变换器时难以甚至无法利用 BPU 的优势。为此，我们提出一种新方法，通过替换线性层和层归一化运算为精心设计的卷积算子来重构视觉变换器，从而使 DeiT 能够充分利用 BPU 的加速能力，同时保留原始权重参数无需重新训练或微调。据我们了解，这是首次成功部署能够充分利用 BPU 加速的视觉变换器。具体而言，量化后的 DeiT-Base 模型在 ImageNet 上的准确率达到 80.4%，相较于原始 81.8%，同时实现最高 3.8 倍推理加速。我们对在花卉分类数据集上微调的 DeiT 模型也取得优异性能，DeiT-Base 模型仅降低 0.5% 的准确率，进一步证明了本方法的有效性。
引用
@article{arxiv.2602.06300,
title = {Accelerating Vision Transformers on Brain Processing Unit},
author = {Jinchi Tang and Yan Guo},
journal= {arXiv preprint arXiv:2602.06300},
year = {2026}
}