Learngene:从祖先模型向后代模型继承浓缩知识
机器学习
2023-06-30 v3 人工智能
计算机视觉与模式识别
摘要
在生物祖先的持续演化中,其基因积累了大量经验与知识,使新生后代能快速适应特定环境。受此启发,我们提出一种新颖机器学习范式Learngene,使学习模型具备基因的三个关键特征:(i)积累:知识在祖先模型的持续学习中积累。(ii)浓缩:大量积累的知识被浓缩为更紧凑的信息单元,即learngene。(iii)继承:浓缩的learngene被继承,以使后代模型更易适应新环境。由于积累已在大规模预训练和终身学习和等成熟范式中被研究,我们聚焦于浓缩与继承,由此引出三个关键问题,并在本文给出初步解决方案:(i) Learngene形式:将learngene设为若干能保持重要性的完整层。(ii) Learngene浓缩:我们识别祖先模型中哪些层与一个伪后代模型最相似。(iii) Learngene继承:为特定下游任务构建不同后代模型,我们在learngene层上堆叠若干随机初始化层。我们在多种设置下进行了大量实验,包括在不同数据集上使用Vision Transformer (ViT)和卷积神经网络(CNNs)等不同网络架构,证实了Learngene的四项优势:使后代模型1)收敛更快,2)对超参数更不敏感,3)表现更优,4)收敛所需训练样本更少。
引用
@article{arxiv.2305.02279,
title = {Learngene: Inheriting Condensed Knowledge from the Ancestry Model to Descendant Models},
author = {Qiufeng Wang and Xu Yang and Shuxia Lin and Jing Wang and Xin Geng},
journal= {arXiv preprint arXiv:2305.02279},
year = {2023}
}