用更大的模型初始化小模型
机器学习
2023-12-01 v1 计算机视觉与模式识别
摘要
权重初始化在神经网络训练中起着重要作用。广泛使用的初始化方法针对从头开始训练的网络提出并评估。然而，日益增多的预训练模型为解决这一经典的权重初始化问题提供了新机遇。在本工作中，我们引入权重选择(weight selection)，一种通过从预训练更大模型中选取权重子集来初始化更小模型的方法。这使得知识能从预训练权重迁移到更小模型。我们的实验表明，权重选择能显著提升小模型性能并减少其训练时间。值得注意的是，它也可与知识蒸馏一同使用。权重选择为在资源受限场景下利用预训练模型的能力提供了新途径，我们希望它能成为大模型时代训练小模型的有用工具。代码见 https://github.com/OscarXZQ/weight-selection。
引用
@article{arxiv.2311.18823,
title = {Initializing Models with Larger Ones},
author = {Zhiqiu Xu and Yanjie Chen and Kirill Vishniakov and Yida Yin and Zhiqiang Shen and Trevor Darrell and Lingjie Liu and Zhuang Liu},
journal= {arXiv preprint arXiv:2311.18823},
year = {2023}
}