一种用于多源迁移学习中优化迁移数量的高维统计方法
机器学习
2025-10-29 v4 人工智能
摘要
多源迁移学习通过利用多个源任务来解决实际监督学习场景中的数据稀缺问题。现有工作通常在训练中使用所有可用源样本，这限制了训练效率并可能导致次优结果。为此，本文提出了理论框架以回答：每个源任务应获取多少最优样本才能共同训练目标模型？具体而言，我们引入基于 K-L 发散的概化误差度量，并基于高维统计分析对其进行最小化，以确定每个源任务的最优迁移数量。此外，我们开发了一种无需特定架构且数据高效的算法 OTQMS，以实现上述理论结果用于多源迁移学习中的目标模型训练。在多种架构和两个真实基准数据集上的实验表明，我们提出的算法在准确率和数据效率方面均显著优于最先进的方法。代码和补充材料已公开于 https://github.com/zqy0126/OTQMS。
引用
@article{arxiv.2502.04242,
title = {A High-Dimensional Statistical Method for Optimizing Transfer Quantities in Multi-Source Transfer Learning},
author = {Qingyue Zhang and Haohao Fu and Guanbo Huang and Yaoyuan Liang and Chang Chu and Tianren Peng and Yanru Wu and Qi Li and Yang Li and Shao-Lun Huang},
journal= {arXiv preprint arXiv:2502.04242},
year = {2025}
}
备注
NeurIPS 2025 Poster