跨数据集的 Learngene 搜索用于构建可变大小模型
机器学习
2026-05-12 v1
摘要
深度学习方法在多样化资源约束下广泛应用，导致模型规模各异，例如视觉转换器（Vision Transformer, ViT）系列。部署这些模型通常需要高昂的预训练和微调成本。Learngene 范式通过从预训练的祖先模型（Ans-Net）中提取可迁移组件（称为 learngenes）来初始化可变大小后代模型（Des-Nets）。现有 learngene 提取方法依赖单一数据集，限制了下游性能。为解决这一限制，我们提出了跨多个数据集的 Learngene 搜索构建可变大小模型（LSAMD）。LSAMD 将 Ans-Net 扩展为可搜索的超 Ans-Net，包含数据集特定模块和数据集适配器（DADs）。在训练期间，LSAMD 为每个数据集搜索最优的架构路径。跨数据集最常被选取的基块被提取为 learngenes，用于初始化 Des-Nets。实验表明，LSAMD 在多个数据集上实现了与预训练-微调方法相当的性能，同时显著降低了存储和训练成本。
引用
@article{arxiv.2605.08209,
title = {Learngene Search Across Multiple Datasets for Building Variable-Sized Models},
author = {Boyu Shi and Junbo Zhou and Chang Liu and Xu Yang and Qiufeng Wang and Xin Geng},
journal= {arXiv preprint arXiv:2605.08209},
year = {2026}
}