基于预训练条件生成模型的迁移学习
机器学习
2025-02-21 v3 人工智能
机器学习
摘要
迁移学习在针对新目标任务训练深度神经网络时至关重要。当前的迁移学习方法总是假设以下条件至少满足其一：(i) 源任务与目标任务标签空间重叠，(ii) 源数据集可用，以及 (iii) 目标网络架构与源网络架构一致。然而，在实际场景中满足这些假设是困难的，因为目标任务很少具有与源任务相同的标签，源数据集的访问因存储成本和隐私而受到限制，且目标架构通常是针对每个任务专门定制的。为了在不依赖这些假设的情况下迁移源知识，我们提出了一种使用深度生成模型的迁移学习方法，由以下两个阶段组成：伪预训练（PP）和伪半监督学习（P-SSL）。PP 使用由条件源生成模型合成的人工数据集来训练目标架构。P-SSL 将 SSL 算法应用于带标签的目标数据和无标签伪样本，这些伪样本是通过级联源分类器和生成模型以目标样本为条件生成的。我们的实验结果表明，我们的方法可以优于从零训练和知识蒸馏的基线方法。
引用
@article{arxiv.2204.12833,
title = {Transfer Learning with Pre-trained Conditional Generative Models},
author = {Shin'ya Yamaguchi and Sekitoshi Kanai and Atsutoshi Kumagai and Daiki Chijiwa and Hisashi Kashima},
journal= {arXiv preprint arXiv:2204.12833},
year = {2025}
}
备注
Accepted by Machine Learning