打破架构壁垒：一种跨网络高效知识迁移的方法
机器学习
2022-12-29 v1
摘要
迁移学习是一种提升神经网络性能的流行技术。然而，现有方法局限于在相同架构的网络间迁移参数。我们提出一种在不同架构的神经网络间迁移参数的方法。我们的方法称为 DPIAT，使用动态规划在架构间匹配块与层并高效迁移参数。与现有的参数预测与随机初始化方法相比，它显著提升了训练效率与验证准确率。在 ImageNet 上的实验中，我们的方法在训练 50 个 epoch 后平均将验证准确率提升了 1.6 倍。DPIAT 使研究人员与神经架构搜索系统能够修改已训练网络并重用知识，避免从头重训的需要。我们还引入了网络架构相似度度量，使用户无需任何训练即可选择最佳源网络。
引用
@article{arxiv.2212.13970,
title = {Breaking the Architecture Barrier: A Method for Efficient Knowledge Transfer Across Networks},
author = {Maciej A. Czyzewski and Daniel Nowak and Kamil Piechowiak},
journal= {arXiv preprint arXiv:2212.13970},
year = {2022}
}
备注
23 pages, 16 figures