TinyFormer：面向微型设备的高效 Transformer 设计与部署
机器学习
2025-11-27 v3 硬件体系结构
摘要
在微型设备（如微控制器单元，MCU）上开发深度学习模型已在各类嵌入式 IoT 应用中引起广泛关注。然而，由于严重的硬件资源限制，在微型设备上高效设计与部署近期先进模型（如 transformer）颇具挑战。在本工作中，我们提出 TinyFormer，一个专门设计用于在 MCU 上开发与部署资源高效 transformer 模型的框架。TinyFormer 由 SuperNAS、SparseNAS 和 SparseEngine 组成。其中，SuperNAS 旨在从庞大搜索空间中搜索合适的超网。SparseNAS 从已识别的超网中评估出最佳稀疏单路径 transformer 模型。最后，SparseEngine 将搜索得到的稀疏模型高效部署到 MCU 上。据我们所知，SparseEngine 是首个能够在 MCU 上执行稀疏 transformer 模型推理的部署框架。在 CIFAR-10 数据集上的评估结果表明，TinyFormer 能在遵循 1MB 存储与 320KB 内存硬件约束的同时，设计出准确率达 96.1% 的高效 transformer。此外，TinyFormer 在稀疏推理上实现了显著加速，相较 CMSIS-NN 库最高达 12.2 倍。相信 TinyFormer 能将强大的 transformer 引入 TinyML 场景，并极大拓展深度学习应用的范围。
引用
@article{arxiv.2311.01759,
title = {TinyFormer: Efficient Transformer Design and Deployment on Tiny Devices},
author = {Jianlei Yang and Jiacheng Liao and Fanding Lei and Meichen Liu and Lingkun Long and Junyi Chen and Han Wan and Bei Yu and Weisheng Zhao},
journal= {arXiv preprint arXiv:2311.01759},
year = {2025}
}
备注
This paper is accepted by IEEE Transactions on Circuits and Systems I: Regular Papers