基于矩阵分解的视觉Transformer剪枝
计算机视觉与模式识别
2023-08-22 v1 统计计算
摘要
这是基于矩阵分解的视觉Transformer剪枝的进一步发展。视觉Transformer剪枝的目的是通过学习线性投影的相关重要性分数来剪枝数据集的线性投影维度，以降低存储、运行时内存和计算需求。在本文中，我们在保留所生成的重要特征的同时，通过实现并比较若干矩阵分解方法，进一步降低线性投影的维度和复杂度。通过比较原始Github仓库中的原始准确率分数以及使用那些矩阵分解方法（包括奇异值分解、四个版本的QR分解和LU分解）的准确率分数，我们最终选择奇异值分解作为实现目标的方法。
引用
@article{arxiv.2308.10839,
title = {Vision Transformer Pruning Via Matrix Decomposition},
author = {Tianyi Sun},
journal= {arXiv preprint arXiv:2308.10839},
year = {2023}
}