基于动态头和异构任务构建的无监督元学习用于少样本分类
机器学习
2024-10-15 v2
摘要
元学习近年来在少样本学习和强化学习等领域得到广泛应用。然而，为何和何时在少样本分类中优于其他算法仍值得探索。本文通过调整标签噪声比例和数据集任务异构性程度进行预实验。我们采用奇异向量标准正交相关分析(Singular Vector Canonical Correlation Analysis)度量神经网络的表示稳定性，从而比较元学习和经典学习算法的行为。我们发现，得益于双层优化策略，元学习算法对标签噪声和异构任务具有更好的鲁棒性。基于上述结论，我们主张元学习在无监督领域具有潜在前景，因而提出DHM-UHT——一种基于动态头和无监督异构任务构建的元学习算法。DHM-UHT的核心思想是利用DBSCAN和动态头实现异构任务构建和元学习无监督异构任务构建的整个过程。在几个无监督零样本和少样本数据集上，DHM-UHT获得了最好的性能。代码已发布于 https://github.com/tuantuange/DHM-UHT。
引用
@article{arxiv.2410.02267,
title = {Unsupervised Meta-Learning via Dynamic Head and Heterogeneous Task Construction for Few-Shot Classification},
author = {Yunchuan Guan and Yu Liu and Ketong Liu and Ke Zhou and Zhiqi Shen},
journal= {arXiv preprint arXiv:2410.02267},
year = {2024}
}