TransAxx：基于近似计算的高效 Transformer
机器学习
2025-05-08 v2 硬件体系结构
摘要
最近由 Transformer 架构引入的视觉 Transformer（ViT）模型显示出极强的竞争力，并常成为卷积神经网络（CNNs）的流行替代方案。然而，这些模型的高计算需求限制了其实际适用性，尤其是在低功耗设备上。当前最先进技术采用近似乘法器来解决深度神经网络（DNN）加速器大幅增加的计算需求，但尚无 prior 研究探索其在 ViT 模型上的应用。在本工作中，我们提出了 TransAxx，这是一个基于流行的 PyTorch 库的框架，能够快速原生支持近似算术，从而无缝评估近似计算对 ViT 等 DNN 的影响。利用 TransAxx，我们分析了 Transformer 模型在 ImageNet 数据集上对近似乘法的敏感性，并执行了近似感知微调以恢复精度。此外，我们提出了一种为 ViT 模型生成近似加速器的方法。我们的方法使用蒙特卡洛树搜索（MCTS）算法，通过硬件驱动的手工策略高效搜索可能的配置空间。我们的评估证明了该方法在实现精度与功耗之间显著权衡方面的有效性，在不牺牲性能的情况下获得了实质性增益。
引用
@article{arxiv.2402.07545,
title = {TransAxx: Efficient Transformers with Approximate Computing},
author = {Dimitrios Danopoulos and Georgios Zervakis and Dimitrios Soudris and Jörg Henkel},
journal= {arXiv preprint arXiv:2402.07545},
year = {2025}
}