通过学习基因迁移核心知识
机器学习
2024-01-17 v1 神经与进化计算
摘要
预训练范式将在大型数据集上训练的模型微调至下游任务，以获得性能提升。它将所有知识迁移到下游任务，而不区分哪些是必要的或非必要的，这可能导致负迁移。相比之下，自然界中的知识迁移要高效得多。当向后代传递遗传信息时，祖先仅将核心知识编码到作为媒介的基因中。受此启发，我们采用了一个近期提出的概念“学习基因（learngene）”，并通过模仿自然基因的结构来优化其结构。我们提出了遗传迁移学习（GTL）框架——将生物体的进化过程复制到神经网络中。GTL 训练一个网络种群，通过锦标赛选择优胜的学习基因，执行学习基因突变，并将学习基因传递给下一代。最终，我们成功提取了 VGG11 和 ResNet12 的学习基因。我们证明，学习基因赋予了后代网络本能和强大的学习能力：在仅使用 20% 参数的情况下，学习基因在 CIFAR-FS 和 miniImageNet 上分别带来了 12% 和 16% 的准确率提升。此外，学习基因对网络的下游结构和数据集具有可扩展性和适应性。总体而言，我们提供了一个新颖的见解：通过学习基因迁移核心知识，对神经网络而言可能是充分且高效的。
引用
@article{arxiv.2401.08139,
title = {Transferring Core Knowledge via Learngenes},
author = {Fu Feng and Jing Wang and Xin Geng},
journal= {arXiv preprint arXiv:2401.08139},
year = {2024}
}