最优源任务性能是否意味着对目标任务的最优预训练？
机器学习
2022-04-13 v2 计算机视觉与模式识别
摘要
对预训练深度网络进行微调常用于提升神经网络的精度与训练速度。通常假设，为使网络更好地通过微调学习任意目标任务，应将其在源任务上训练至最优性能。但这 generally 并不成立。在达到最优性能之前停止源任务训练，反而可能得到更适于微调学习新任务的预训练网络。我们进行了若干实验来验证这一现象，以及训练量与学习率的影响。此外，我们的结果表明，这反映了一种普遍的学习能力丧失，其甚至延伸到对源任务的重新学习。
引用
@article{arxiv.2106.11174,
title = {Does Optimal Source Task Performance Imply Optimal Pre-training for a Target Task?},
author = {Steven Gutstein and Brent Lance and Sanjay Shakkottai},
journal= {arXiv preprint arXiv:2106.11174},
year = {2022}
}