TAS-LoRA：基于混合LoRA专家的Transformer架构搜索
计算机视觉与模式识别
2026-05-11 v1
摘要
Transformer 架构搜索（TAS）通过自动发现最佳视觉Transformer（ViT）架构来减少人工设计 ViT 所需的工作量。然而，现有 TAS 方法会出现特征坍缩问题，即超网络中各子网由于共享权重而难以学习子网特定特征，限制了单个子网的性能。为解决此问题，我们提出了 TAS-LoRA，一种引入参数高效低秩适应（LoRA）以实现子网特定特征学习的方法，同时保持计算效率。TAS-LoRA 采用混合LoRA专家（MoLE）策略，其中轻量级路由器根据子网架构动态分配 LoRA 专家，并引入基于组的路由器初始化技术，以鼓励训练早期跨专家的特征多样性。在 ImageNet 以及包括 CIFAR-10/100、Flowers、CARS 和 INAT-19 在内的多个迁移学习基准上进行大量实验表明，TAS-LoRA 有效缓解了特征坍缩问题，显著优于最新的 TAS 方法。
引用
@article{arxiv.2605.07256,
title = {TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts},
author = {Jeimin Jeon and Hyunju Lee and Bumsub Ham},
journal= {arXiv preprint arXiv:2605.07256},
year = {2026}
}
备注
Accepted to CVPR 2026