线性与单隐层神经网络迁移学习的极小化极大下界
机器学习
2020-06-19 v1 信息论
math.IT
机器学习
摘要
迁移学习已成为一种强大的技术，可用于在标注训练数据可能稀缺的新领域上提升机器学习模型的性能。在这种方法中，为拥有大量标注训练数据的源任务训练的模型，被用作在只有少量标注训练数据的相关目标任务上训练模型的起点。尽管迁移学习方法近期取得了经验上的成功，但人们对迁移学习的益处和基本极限仍缺乏理解。在本文中，我们开发了一个统计极小化极大框架，以表征在线性和单隐层神经网络模型进行回归的背景下迁移学习的基本极限。具体而言，我们推导出了任何算法可达到的目标泛化误差的下界，该下界是源数据和目标数据的标注数量以及源任务与目标任务之间适当相似性度量的函数。我们的下界为迁移学习的益处和局限性提供了新见解。我们进一步通过各种实验验证了我们的理论发现。
引用
@article{arxiv.2006.10581,
title = {Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks},
author = {Seyed Mohammadreza Mousavi Kalan and Zalan Fabian and A. Salman Avestimehr and Mahdi Soltanolkotabi},
journal= {arXiv preprint arXiv:2006.10581},
year = {2020}
}