光滑性自适应假设转移学习
机器学习
2024-02-26 v1 机器学习
统计方法学
摘要
许多现有的两阶段基于核函数的假设转移学习算法在各阶段采用相同的核正则化,并依赖已知函数的光滑性以获得最优性。因此,它们无法适应实际中目标/源及其偏移函数之间未知且可变的光滑性。在本文中,我们通过提出光滑性自适应转移学习(SATL)来解决这些问题,该方法是一种基于两阶段核岭回归(KRR)的算法。我们首先证明,在目标-only KRR学习中使用误指定固定带宽的高斯核可实现最小损失,并推导出适用于未知Sobolev光滑性的自适应程序。利用这些结果,SATL在两个阶段都采用高斯核,以便估计器能够适应目标/源及其偏移函数的未知光滑性。我们推导了学习问题在剩余风险中的最小下界,并表明SATL在 logarithmic factor的量级上获得匹配的上界。最小收敛速率阐明了影响转移动力学的因素,并显示了SATL相对于非转移学习设置的优势。虽然我们的主要目标是理论分析,但我们也进行了若干实验以确认我们的发现。
引用
@article{arxiv.2402.14966,
title = {Smoothness Adaptive Hypothesis Transfer Learning},
author = {Haotian Lin and Matthew Reimherr},
journal= {arXiv preprint arXiv:2402.14966},
year = {2024}
}