Auto-ViT-Acc：一种基于混合方案量化的视觉Transformer FPGA感知自动加速框架
计算机视觉与模式识别
2022-08-11 v1 机器学习
图像与视频处理
摘要
视觉Transformer（ViT）在计算机视觉任务中以显著提升的精度崭露头角。然而，其复杂架构与巨大的计算/存储需求迫切要求新的硬件加速器设计方法学。本工作提出一种基于所提混合方案量化的 FPGA 感知自动 ViT 加速框架。据我们所知，这是首个探索模型量化的基于 FPGA 的 ViT 加速框架。相较于最先进的 ViT 量化工作（仅算法方法而无硬件加速），我们的量化在相同位宽下实现了 0.47% 至 1.36% 更高的 Top-1 精度。相较于 32 位浮点基线 FPGA 加速器，我们的加速器在 ImageNet 数据集上对 DeiT-base 实现了约 5.6 倍的帧率提升（即 56.8 FPS 对比 10.0 FPS），且精度下降 0.71%。
引用
@article{arxiv.2208.05163,
title = {Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization},
author = {Zhengang Li and Mengshu Sun and Alec Lu and Haoyu Ma and Geng Yuan and Yanyue Xie and Hao Tang and Yanyu Li and Miriam Leeser and Zhangyang Wang and Xue Lin and Zhenman Fang},
journal= {arXiv preprint arXiv:2208.05163},
year = {2022}
}
备注
Published in FPL2022