多粒度类层次结构上的多类少样本学习
机器学习
2020-11-10 v1 机器学习
摘要
我们在监督学习与元学习两种设定下研究多类少样本（MCFS）问题。相较于已被充分研究的多类多样本与少类少样本问题，MCFS 问题在实际应用中常见但鲜有文献研究。它带来了在每类仅给定少量训练样本情况下区分众多类的新挑战。本文利用类层次结构作为先验知识来训练一个由粗到细的分类器，可在两种设定下为 MCFS 问题给出准确预测。所提模型“记忆增强的层次分类网络（MahiNet）”执行由粗到细的分类，其中每个粗类可覆盖多个细类。由于给定每类少样本数据直接区分多种细类具有挑战性，MahiNet 从以更易获取标签且训练数据更多的粗类上学习分类器起步。粗分类器缩小了细类的搜索范围，从而缓解“多类”带来的挑战。在架构上，MahiNet 首先部署卷积神经网络（CNN）提取特征，随后集成记忆增强注意力模块与多层感知机（MLP）共同产生粗类与细类上的概率。MLP 扩展了线性分类器，而注意力模块扩展了 KNN 分类器，二者共同针对“少样本”问题。我们为 MahiNet 设计了若干用于监督学习与元学习的训练策略。此外，我们提出两个专为 MCFS 问题设计的新基准数据集“mcfsImageNet”与“mcfsOmniglot”。实验中，我们表明 MahiNet 在监督学习与元学习下的 MCFS 问题上均优于若干最先进模型。
引用
@article{arxiv.2006.15479,
title = {Many-Class Few-Shot Learning on Multi-Granularity Class Hierarchy},
author = {Lu Liu and Tianyi Zhou and Guodong Long and Jing Jiang and Chengqi Zhang},
journal= {arXiv preprint arXiv:2006.15479},
year = {2020}
}