面向边缘设备的混合视觉 Transformer 网络高效硬件加速
硬件体系结构
2025-07-22 v1
摘要
混合视觉 Transformer 融合了常规神经网络和视觉 Transformer 的要素，实现轻量化且精准的检测。然而，这些模型在资源受限的边缘设备上仍面临高效部署的诸多挑战。混合模型包含广泛多样的神经网络层类型和大规模中间数据张量，妨碍了高效的硬件加速。为实现其在边缘端的运行，本文在硬件调度堆栈中提出创新措施：a.) 在最底层，配置化的计算单元阵列支持所有混合 ViT 层类型；b.) 在单层内部进行时序循环重排序，实现归一化和 Softmax 层的硬件支持，最小化芯内数据传输；c.) 进一步的调度优化通过跨 inverted bottleneck 层融合，显著降低芯外内存传输。实现的加速器采用 28nm CMOS 工艺，峰值能效达 1.39 TOPS/W，工作频率为 25.6 GMACs/s。
关键词
引用
@article{arxiv.2507.14651,
title = {Enabling Efficient Hardware Acceleration of Hybrid Vision Transformer (ViT) Networks at the Edge},
author = {Joren Dumoulin and Pouya Houshmand and Vikram Jain and Marian Verhelst},
journal= {arXiv preprint arXiv:2507.14651},
year = {2025}
}