SuperSAM：通过结构化剪枝和非结构化参数排序构建 SAM 超级网络
计算机视觉与模式识别
2025-01-16 v1 机器学习
摘要
神经网络架构搜索（NAS）是一种自动化设计高效神经网络架构的强大方法。与传统 NAS 方法不同，近期提出的单次 NAS 方法在执行 NAS 方面更为高效。单次 NAS 通过生成一个唯一的权重共享超级网络，作为子网络的搜索空间（容器）来工作。尽管取得了这些成就，但设计单次搜索空间仍是最大的挑战之一。本文我们提出了一种针对 Vision Transformer（ViT）架构的搜索空间设计策略。具体而言，我们将 Segment Anything Model（SAM）转换为一个权重共享超级网络，称为 SuperSAM。我们的做法是通过层级结构化剪枝和参数排序来自动化搜索空间设计。其中，结构化剪枝应用概率性移除特定 Transformer 层，参数排序则对剩余层中的 MLP 块进行权重重排序和切片。我们采用 sandwich rule 在多个数据集上训练超级网络。对于部署，我们通过 program autotuner 来识别搜索空间中高效子网络。所得子网络相较于原始预训练 SAM ViT-B 模型大小缩小 30%~70%，但性能却超过了预训练模型。我们的工作引入了一种新的且有效的方法，用于 ViT NAS 搜索空间设计。
引用
@article{arxiv.2501.08504,
title = {SuperSAM: Crafting a SAM Supernetwork via Structured Pruning and Unstructured Parameter Prioritization},
author = {Waqwoya Abebe and Sadegh Jafari and Sixing Yu and Akash Dutta and Jan Strube and Nathan R. Tallent and Luanzheng Guo and Pablo Munoz and Ali Jannesari},
journal= {arXiv preprint arXiv:2501.08504},
year = {2025}
}