Net2Net：通过知识迁移加速学习
机器学习
2016-04-26 v4
摘要
我们介绍了将存储在一个神经网络中的信息快速迁移到另一个神经网络的技术。主要目的是加速训练一个显著更大的神经网络。在现实工作流中，人们常在实验和设计过程中训练许多不同的神经网络。这是一个浪费的过程，其中每个新模型都从零开始训练。我们的Net2Net技术通过将先前网络的知识即时迁移到每个新的更深或更宽的网络来加速实验过程。我们的技术基于神经网络规范之间函数保持变换的概念。这与之前在添加层时改变神经网络所表示函数的预训练方法不同。使用我们的知识迁移机制为Inception模块增加深度，我们在ImageNet数据集上展示了一种新的最先进的准确率评级。
引用
@article{arxiv.1511.05641,
title = {Net2Net: Accelerating Learning via Knowledge Transfer},
author = {Tianqi Chen and Ian Goodfellow and Jonathon Shlens},
journal= {arXiv preprint arXiv:1511.05641},
year = {2016}
}
备注
ICLR 2016 submission