基于样本的正则化：一种面向更好泛化的迁移学习策略
机器学习
2020-07-13 v1 机器学习
摘要
利用少量数据训练深度神经网络是一个具有挑战性的问题，因为它容易过拟合。然而，我们经常面临的实际困难之一是收集大量样本。迁移学习是这一问题的一个经济高效的解决方案。通过使用在大规模数据集上训练的源模型，目标模型可以缓解由训练数据缺乏引起的过拟合。借助源模型的泛化能力，已有若干方法提出在整个训练过程中利用源知识。但这很可能限制目标模型的潜力，且来自源的某些迁移知识会干扰训练过程。为了在少量训练样本下提升目标模型的泛化性能，我们提出了一种称为基于样本的正则化（sample-based regularization, SBR）的正则化方法，该方法在训练过程中不依赖源知识。借助 SBR，我们提出了一种用于迁移学习的新训练框架。实验结果表明，我们的框架在各种配置下均优于现有方法。
引用
@article{arxiv.2007.05181,
title = {Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization},
author = {Yunho Jeon and Yongseok Choi and Jaesun Park and Subin Yi and Dongyeon Cho and Jiwon Kim},
journal= {arXiv preprint arXiv:2007.05181},
year = {2020}
}