直推式少样本学习:聚类即你所需要?
机器学习
2021-06-18 v1 计算机视觉与模式识别
摘要
我们研究了一种用于聚类和直推式少样本学习的通用表述,它集成了基于原型的目標、拉普拉斯正则化以及来自少量标注数据点的监督约束。我们提出了该问题的凹凸松弛,并推导出一种计算高效的块坐标界优化器,具有收敛保证。在每次迭代中,我们的优化器计算每个点到簇分配的独立(并行)更新。因此,它可以平凡地分布式处理大规模聚类和少样本任务。此外,我们基于点到集映射提供了彻底的收敛分析。我们报告了在各种数据集上全面的聚类和少样本学习实验,表明我们的方法在准确率和优化质量方面具有竞争力,同时可扩展至大规模问题。使用在基类上的标准训练,无需借助复杂的元学习和情景训练策略,我们的方法在各种模型、设置和数据集上以显著优势超越最先进的少样本方法。令人惊讶的是,我们发现即使是标准聚类过程(例如 K-means),作为我们通用模型的特定非正则化情形,相较于少样本学习中的最先进水平已经取得了有竞争力的性能。这些令人惊讶的结果指出了当前少样本基准的局限性,并质疑近期文献中大量复杂少样本学习技术的可行性。
引用
@article{arxiv.2106.09516,
title = {Transductive Few-Shot Learning: Clustering is All You Need?},
author = {Imtiaz Masud Ziko and Malik Boudiaf and Jose Dolz and Eric Granger and Ismail Ben Ayed},
journal= {arXiv preprint arXiv:2106.09516},
year = {2021}
}