通过权重注入实现不同架构间的迁移学习
机器学习
2021-01-11 v1
摘要
本工作提出了一种在不同架构间进行参数迁移的朴素算法，采用计算代价低廉的注入技术（无需数据）。主要目标是加速神经网络从零开始的训练。本研究发现在初始化时，从任意架构迁移知识优于Kaiming和Xavier方法。结论是，所提方法收敛更快，可作为经典方法的直接替代。该方法包括：1）匹配：将预训练模型与目标模型的层进行匹配；2）注入：将张量变换为所需形状。本工作利用TLI（通过注入的迁移学习，Transfer Learning by Injection）分数，对当前SOTA架构（ImageNet）之间的相似性进行了比较。
引用
@article{arxiv.2101.02757,
title = {Transfer Learning Between Different Architectures Via Weights Injection},
author = {Maciej A. Czyzewski},
journal= {arXiv preprint arXiv:2101.02757},
year = {2021}
}
备注
6 pages; 7 figures; draft