面向 Vision Transformer 适配的高效低秩反向传播
计算机视觉与模式识别
2023-09-28 v1 人工智能
机器学习
摘要
视觉 Transformer(ViT) 规模的不断增长，使得在特定需求下高效微调这些大型模型成为各类应用中的重大挑战。该问题源于 ViT 中线性层反向传播过程所需的计算密集型矩阵乘法。本文中，我们通过提出一种新的基于 Walsh-Hadamard 变换的低秩反向传播(LBP-WHT)方法来解决此问题。直观上，LBP-WHT 将梯度投影至低秩空间并执行反向传播。该方法大幅降低了适配 ViT 所需的计算量，因低秩空间中的矩阵乘法资源消耗远低。我们在多个数据集上以不同模型(ViT、卷积-ViT 混合模型)进行了广泛实验以证明方法有效性。例如，在 CIFAR100 上适配 EfficientFormer-L1 模型时，我们的 LBP-WHT 比最先进基线精度高 10.4%，且少需 9 MFLOPs 计算量。作为首个以低秩反向传播加速 ViT 适配的工作，我们的 LBP-WHT 方法与许多已有工作互补，并可与之结合以获得更优性能。
引用
@article{arxiv.2309.15275,
title = {Efficient Low-rank Backpropagation for Vision Transformer Adaptation},
author = {Yuedong Yang and Hung-Yueh Chiang and Guihong Li and Diana Marculescu and Radu Marculescu},
journal= {arXiv preprint arXiv:2309.15275},
year = {2023}
}
备注
37th Conference on Neural Information Processing Systems (NeurIPS 2023)