渐进调优：一种更好的深度神经网络参数微调方法
人工智能
2017-11-29 v1 神经与进化计算
摘要
本文提出一种微调网络参数的替代策略。我们将该技术命名为渐进调优（Gradual Tuning）。网络在第一个任务上训练后，通过在第二个任务上逐步增大所修改的网络参数集合来进行微调。我们在不同的迁移学习任务上测试渐进调优，使用不同规模、以不同正则化技术训练的网络。结果表明，与常规微调相比，我们的方法显著减少了初始任务的灾难性遗忘，同时在新任务上仍保持相当甚至更好的性能。
引用
@article{arxiv.1711.10177,
title = {Gradual Tuning: a better way of Fine Tuning the parameters of a Deep Neural Network},
author = {Guglielmo Montone and J. Kevin O'Regan and Alexander V. Terekhov},
journal= {arXiv preprint arXiv:1711.10177},
year = {2017}
}