基于样例的对比自监督学习与少样本类增量学习
机器学习
2022-02-08 v1
摘要
人类能够从仅少量（带标签）样例中增量且持续地学习新概念。这发生在我们能够区分样例之间、以及样例与大量其他数据（无标签与有标签）之间的背景下。这表明，在人类学习中，基于样例的概念监督学习发生在基于无标签与有标签数据的对比自监督学习（CSSL）这一更大背景之中。我们讨论将 CSSL 扩展为（1）主要基于样例而其次基于数据增强，以及（2）同时应用于无标签数据（通常大量可用）和有标签数据（可获取少量带有宝贵监督知识的样例）。这些扩展的一个主要好处是，基于样例的 CSSL 配合监督微调，可支持少样本类增量学习（CIL）。具体地，我们讨论基于样例的 CSSL，包括：最近邻 CSSL、带监督预训练的邻域 CSSL，以及带监督微调的样例 CSSL。我们进一步讨论利用基于样例的 CSSL 促进少样本学习，特别是少样本 CIL。
引用
@article{arxiv.2202.02601,
title = {Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning},
author = {Daniel T. Chang},
journal= {arXiv preprint arXiv:2202.02601},
year = {2022}
}