通过 Learngene Pool 构建可变尺寸模型
机器学习
2023-12-13 v2 计算机视觉与模式识别
摘要
近期，可缝合神经网络 (SN-Net) 被提出用于缝合多个预训练网络，以快速构建具有不同复杂度与性能折中的大量网络。通过这种方式，减轻了设计或训练可变尺寸网络（可用于具有多种资源约束的应用场景）的负担。然而，SN-Net 仍面临一些挑战。1) 从多个独立预训练的锚点进行缝合会引入高存储资源消耗。2) SN-Net 在为低资源约束构建更小模型时面临挑战。3) SN-Net 对缝合层使用未学习的初始化方法，限制了最终性能。为了克服这些挑战，受近期提出的 Learngene 框架启发，我们提出了一种名为 Learngene Pool 的新方法。简而言之，Learngene 将大型预训练模型中的关键知识蒸馏到一个小的部分（称为 learngene）中，然后将这个小部分扩展为几个可变尺寸的模型。在我们提出的方法中，我们将一个预训练大模型蒸馏为多个小模型，这些小模型的网络块被用作 learngene 实例来构建 learngene pool。由于仅使用了一个大模型，我们不需要像 SN-Net 那样存储更多大模型，并且在蒸馏后，可以创建更小的 learngene 实例来构建满足低资源约束的小模型。我们还在实例之间插入可学习的变换矩阵，将它们缝合为可变尺寸的模型以提升这些模型的性能。我们进行了详尽的实验，结果验证了所提出的 Learngene Pool 相比于 SN-Net 的有效性。
引用
@article{arxiv.2312.05743,
title = {Building Variable-sized Models via Learngene Pool},
author = {Boyu Shi and Shiyu Xia and Xu Yang and Haokun Chen and Zhiqiang Kou and Xin Geng},
journal= {arXiv preprint arXiv:2312.05743},
year = {2023}
}