超越简单元学习：用于多领域、主动与持续小样本学习的多用途模型
计算机视觉与模式识别
2022-12-13 v2
摘要
现代深度学习需要大规模且标注详尽的数据集进行训练。小样本学习旨在通过从少量标注样本中有效学习来缓解这一问题。在先前提出的小样本视觉分类器中，通常假设分类器做出决策的特征流形具有不相关的特征维度和均匀的特征方差。在本工作中，我们通过提出一类在低标注机制下运行的方差敏感模型，专注于解决由该假设产生的局限性。第一种方法 Simple CNAPS 采用基于分层正则化马氏距离的分类器，结合最先进的神经自适应特征提取器，在 Meta-Dataset、mini-ImageNet 和 tiered-ImageNet 基准上取得了强劲的性能。我们进一步将该方法扩展至直推式学习设置，提出了 Transductive CNAPS。该直推式方法将软 k-means 参数细化过程与两步任务编码器相结合，利用未标注数据提高了测试时分类准确率。Transductive CNAPS 在 Meta-Dataset 上达到了最先进的性能。最后，我们探索了将我们的方法（Simple 和 Transductive）用于“开箱即用”的持续学习和主动学习。在大规模基准上的大量实验表明了这类相对简单的模型的鲁棒性与多功能性。所有训练好的模型检查点及相应源代码均已公开。
引用
@article{arxiv.2201.05151,
title = {Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain, Active and Continual Few-Shot Learning},
author = {Peyman Bateni and Jarred Barber and Raghav Goyal and Vaden Masrani and Jan-Willem van de Meent and Leonid Sigal and Frank Wood},
journal= {arXiv preprint arXiv:2201.05151},
year = {2022}
}