用于模型蒸馏与半监督学习的集成流形分割
计算机视觉与模式识别
2018-04-09 v1
摘要
流形理论一直是许多学习方法的核心概念。然而，用流形结构训练现代 CNN 尚未引起应有的关注，主要因为将流形结构施加到 CNN 架构上十分不便。本文提出 ManifoldNet，一种鼓励学习流形感知表征的新方法。我们的方法将输入流形分割为一组片段。通过将相应分割 id 作为伪标签赋予每个样本，我们将保持局部流形结构的问题转化为逐点分类任务。由于其无监督性质，分割往往含噪。我们通过引入集成流形分割（EMS）来缓解该问题。EMS 通过将训练数据划分为包含局部邻近样本的集成分类训练集来考虑流形结构。CNN 在多任务学习框架下于这些集成上训练以符合流形。ManifoldNet 可仅用伪标签训练，也可与任务特定标签共同训练。我们在两项不同任务上评估 ManifoldNet：网络模仿（蒸馏）与半监督学习。实验表明流形结构被有效用于无监督与半监督学习。
引用
@article{arxiv.1804.02201,
title = {Ensemble Manifold Segmentation for Model Distillation and Semi-supervised Learning},
author = {Dengxin Dai and Wen Li and Till Kroeger and Luc Van Gool},
journal= {arXiv preprint arXiv:1804.02201},
year = {2018}
}