面向半监督元学习的无监督表示学习辅助方法
机器学习
2023-10-23 v1 人工智能
摘要
少样本学习或元学习 (meta-learning) 缓解了机器学习中的数据稀缺问题。传统上，训练数据需要大量样本与标注以进行监督学习。为解决此问题，我们提出一种单样本无监督元学习来学习训练样本的潜在表示。我们在无监督元学习的训练阶段使用增强样本作为查询集。元学习的内循环中采用温度缩放的交叉熵损失，以防止无监督学习过程中的过拟合。该步骤学到的参数以迁移学习的方式应用于目标监督元学习，用于初始化并以更高精度实现快速适应。所提方法对模型无关，可辅助任意元学习模型提升精度。我们在 Omniglot 与 mini-Imagenet 数据集上使用模型无关元学习 (MAML) 与关系网络 (RN) 来验证所提方法的性能。此外，采用所提初始化的元学习模型仅需显著更少的训练样本即可达到令人满意的精度。
引用
@article{arxiv.2310.13085,
title = {Unsupervised Representation Learning to Aid Semi-Supervised Meta Learning},
author = {Atik Faysal and Mohammad Rostami and Huaxia Wang and Avimanyu Sahoo and Ryan Antle},
journal= {arXiv preprint arXiv:2310.13085},
year = {2023}
}