中文

通过增强充分表征:在转移学习中丰富源域知识

机器学习 2025-03-03 v1 机器学习

摘要

转移学习是一种重要的方法,用于解决在各种应用中数据有限的挑战。它通过将来自已建立的源域的知识传递到较不熟悉的目标域,从而实现这一目标。然而,传统的转移学习方法常常面临僵化模型假设以及源域模型需要高度相似性的挑战。在本文中,我们引入了一种称为增强充分表征 (Transfer learning through Enhanced Sufficient Representation, 简称 TESR) 的新型转移学习方法。我们的ethods 从源域中估计一个充分且不变的表征,然后通过独立于目标数据派生的成分来增强该表征,确保其对目标域充分且适应其特定特征。TESR 的一个显著优势是它不依赖于假设不同任务之间模型结构的相似性。例如,源域模型可以是回归模型,而目标域任务可以是分类。这一灵活性使 TESR 适用于广泛的监督学习问题。我们探讨了 TESR 的理论属性,通过仿真研究和真实数据应用来验证其性能,展示了其在有限样本设置下的有效性。

关键词

引用

@article{arxiv.2502.20414,
  title  = {Transfer Learning through Enhanced Sufficient Representation: Enriching Source Domain Knowledge with Target Data},
  author = {Yeheng Ge and Xueyu Zhou and Jian Huang},
  journal= {arXiv preprint arXiv:2502.20414},
  year   = {2025}
}

备注

44 pages