基于全局关联解耦蒸馏的小样本学习
计算机视觉与模式识别
2022-12-15 v3
摘要
尽管基于度量学习的方法在小样本学习中取得了成功，近期研究揭示了其情景训练模式的有效性不足。在本文中，我们指出该问题的两个潜在原因：1）随机的情景标签只能提供有限的监督信息，而查询样本与支持样本之间的关联信息未被充分利用；2）元学习器通常受限于局部情景的有限上下文信息。为克服这些问题，我们提出了一种新的全局关联解耦蒸馏（GRDD）方法，利用全局类别知识和关联解耦蒸馏（RDD）策略。我们的 GRDD 通过模仿人类的习惯——即从教师蒸馏的深层知识中学习——来快速学习新的视觉概念。更具体地，我们首先在整个人基类子集上以类别标签为监督训练一个全局学习器，以利用类别的全局上下文信息。然后，训练好的全局学习器被用于模拟全局依赖下的查询-支持关联。最后，蒸馏得到的全局查询-支持关联通过 RDD 策略显式地用于训练元学习器，目标是使元学习器更具判别力。RDD 策略旨在将稠密的查询-支持关联解耦为稀疏解耦关联的组。此外，每组中仅考虑单个支持样本与其他查询样本的关联。通过逐组蒸馏稀疏解耦关联，可将更尖锐的关联有效地蒸馏至元学习器，从而促进判别性元学习器的学习。我们在 miniImagenet 和 CIFAR-FS 数据集上进行了大量实验，结果表明我们的 GRDD 方法达到了最先进的性能。
引用
@article{arxiv.2107.05583,
title = {Few-shot Learning with Global Relatedness Decoupled-Distillation},
author = {Yuan Zhou and Yanrong Guo and Shijie Hao and Richang Hong and Zhengjun Zha and Meng Wang},
journal= {arXiv preprint arXiv:2107.05583},
year = {2022}
}
备注
11 pages