多源迁移学习中源权重与迁移数量的统一优化：渐近框架
机器学习
2026-04-03 v2 人工智能
摘要
在多源迁移学习中，一个关键挑战在于如何适当区分并利用异质源任务。然而，现有的多源方法通常仅关注优化源权重或迁移样本数量，很大程度上忽略了二者的联合考虑。在本工作中，我们提出了一个理论框架——权重与数量统一优化（UOWQ），为每个源任务联合确定最优的源权重和迁移数量。具体而言，该框架将多源迁移学习表述为基于 Kullback-Leibler 散度的泛化误差度量的渐近分析参数估计问题，并得出两项主要理论发现：1）当权重得到适当调整时，使用所有可用的源样本始终是最优的；2）最优源权重由一个原则性优化问题表征，其结构显式地包含了 Fisher 信息、参数差异、参数维度和迁移数量。基于这些理论结果，我们进一步提出了一种实用的多源迁移学习算法，并将其扩展到每个任务同时充当源和目标的多任务学习设定中。在包括 DomainNet 和 Office-Home 在内的真实世界基准上的大量实验表明，UOWQ 始终优于强基线。结果验证了我们框架的理论预测和实用有效性。
引用
@article{arxiv.2601.10779,
title = {Unified Optimization of Source Weights and Transfer Quantities in Multi-Source Transfer Learning: An Asymptotic Framework},
author = {Qingyue Zhang and Chang Chu and Haohao Fu and Tianren Peng and Yanru Wu and Guanbo Huang and Yang Li and Shao-Lun Huang},
journal= {arXiv preprint arXiv:2601.10779},
year = {2026}
}