基于少样本伪监督对比学习的无监督元学习
机器学习
2023-03-03 v1 人工智能
计算机视觉与模式识别
摘要
无监督元学习旨在从非标注数据构建的任务分布中学习可泛化知识。此处主要挑战是如何在无标签信息下构建多样化任务用于元学习；近期工作提出例如通过预训练表示生成伪标签或通过生成模型创建合成样本。然而，此类任务构建策略因在元学习中严重依赖不可变的伪标签以及表示或生成样本的质量而存在根本局限。为克服这些局限，我们提出一种简洁而有效的无监督元学习框架，称为伪监督对比（PsCo），用于少样本分类。我们受近期自监督学习文献启发；PsCo 利用动量网络与先前批次的队列，以渐进方式改进伪标签并构建多样化任务。大量实验表明，PsCo 在各种域内与跨域少样本分类基准下均优于现有无监督元学习方法。我们还验证了 PsCo 易于扩展到大规模基准，而近期已有元学习方案则无法做到。
引用
@article{arxiv.2303.00996,
title = {Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning},
author = {Huiwon Jang and Hankook Lee and Jinwoo Shin},
journal= {arXiv preprint arXiv:2303.00996},
year = {2023}
}
备注
Accepted to ICLR 2023 (Spotlight). The first two authors contributed equally. The code is available at https://github.com/alinlab/PsCo