一类无实现成本的通用迁移学习回归框架
机器学习
2020-12-18 v2 机器学习
摘要
我们提出了一种新颖的框架，统一并扩展了现有的回归迁移学习（TL）方法。为了将预训练的源模型桥接到目标任务的模型上，我们引入了密度比重加权函数，该函数通过具有特定先验分布的贝叶斯框架进行估计。通过改变两个内在超参数和密度比模型的选择，所提方法可以整合三种流行的TL方法：基于跨域相似性正则化的TL、使用密度比估计的概率TL，以及预训练神经网络的微调。此外，所提方法可受益于其简单的实现而无需任何额外成本；回归模型可以完全使用现成的监督学习库进行训练，其中原始输出变量被简单地转换为新的输出变量。我们通过各种真实数据应用展示了其简洁性、通用性和适用性。
引用
@article{arxiv.2006.13228,
title = {A General Class of Transfer Learning Regression without Implementation Cost},
author = {Shunya Minami and Song Liu and Stephen Wu and Kenji Fukumizu and Ryo Yoshida},
journal= {arXiv preprint arXiv:2006.13228},
year = {2020}
}
备注
31 pages, 6 figures