GrowTAS：从小型到大型子网的渐进式扩展视觉Transformer架构搜索
计算机视觉与模式识别
2025-12-16 v1 机器学习
摘要
Transformer架构搜索（TAS）旨在自动发现高效视觉Transformer（ViT），减少对手动设计的依赖。现有TAS方法通常训练一个过参数化的网络（即超网），包含所有候选架构（子网）。然而，所有子网共享相同的权重，导致干扰严重影响较小的子网。我们发现，经过良好训练的小子网可作为训练更大子网的良好基础。基于此，我们提出渐进式训练框架GrowTAS，从训练小子网开始，逐步引入更大的子网。这一方法可减少干扰并稳定训练过程。我们还引入GrowTAS+，通过仅微调部分权重进一步提升大型子网的性能。在ImageNet及多个迁移学习基准（包括CIFAR-10/100、Flowers、CARS和INAT-19）上的大量实验表明，我们的方法优于当前TAS方法。
引用
@article{arxiv.2512.12296,
title = {GrowTAS: Progressive Expansion from Small to Large Subnets for Efficient ViT Architecture Search},
author = {Hyunju Lee and Youngmin Oh and Jeimin Jeon and Donghyeon Baek and Bumsub Ham},
journal= {arXiv preprint arXiv:2512.12296},
year = {2025}
}
备注
Accepted to WACV 2026