残差特征集成足以防止负迁移
机器学习
2026-04-28 v2 人工智能
统计理论
机器学习
统计理论
摘要
迁移学习已成为现代机器学习的核心范式，但长期以来存在负迁移问题，即利用源表示反而会损害目标任务上的性能。尽管已提出经验性补救措施，但仍缺乏对如何可靠避免负迁移的理论理解。本文研究一种简单而高效的策略：通过可训练的目标侧编码器增强冻结的、预训练的源侧特征，以捕获源数据预训练模型忽略的残差信号。我们证明，残差特征集成策略足以从理论上防止负迁移，通过建立理论保证表明其收敛率与从头训练在目标分布(至对数因子)范围内的收敛率并无 worse。当源表示信息丰富时，收敛率可从非参数过渡到近参数。到我们知识，这是首个确保防止负迁移的理论工作。我们进行大量数值实验，跨图像、文本和表格基准测试，实证验证该方法在分布迁移、标签噪声、语义扰动和类别不平衡等情形下均能稳健地保障性能。我们还展示了该残差集成机制独特支持适时多模态扩展，使预训练的单细胞基础模型能够集成空间信号，用于淋巴结解剖分类 despite该源模型在训练时未包含此类信号。本研究因此推动了安全迁移学习理论，并提供了一种原则性、简单、稳健、与体系结构无关且广泛适用的做法。
引用
@article{arxiv.2505.11771,
title = {Residual Feature Integration is Sufficient to Prevent Negative Transfer},
author = {Yichen Xu and Ryumei Nakada and Linjun Zhang and Lexin Li},
journal= {arXiv preprint arXiv:2505.11771},
year = {2026}
}