元学习与自监督学习相互作用简述
机器学习
2021-11-17 v2 人工智能
摘要
本文简要综述元学习与自监督学习之间的联系。元学习可用于提升模型泛化能力并构建通用AI算法。自监督学习利用原始数据的自我监督，通过无监督预训练或对比损失目标优化提取更高层次可泛化特征。在自监督学习中，数据增强技术被广泛应用，且无需数据标签，因为伪标签可从相似任务上训练的模型中估计。元学习旨在使训练好的深度模型适应解决多样任务并发展通用AI算法。我们综述了元学习与生成式及对比式自监督学习模型的关联。即便数据源差异巨大，也可联合考虑来自多源的未标记数据。我们表明，元学习与自监督学习模型的融合最能促进模型泛化能力的提升。由元学习器引导的自监督学习，以及自监督下的通用元学习算法，均为可能组合之例。
引用
@article{arxiv.2103.00845,
title = {A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning},
author = {Huimin Peng},
journal= {arXiv preprint arXiv:2103.00845},
year = {2021}
}