网络移植
机器学习
2018-12-19 v2 计算机视觉与模式识别
机器学习
摘要
本文关注一项新任务，即在无强监督条件下将特定类别与任务的神经网络移植到通用的模块化网络。我们为通用网络设计了一种功能可解释的结构。如同搭建乐高积木，我们通过直接从预训练网络中移植对应类别的模块，以少量甚至无样本标注的方式教给通用网络一个新类别。我们的方法以增量方式向通用网络添加新类别，但不影响已有类别的表示。以此方式，我们的方法打破了为海量任务和类别学习一个网络的典型瓶颈，即在学习开始之前需同时收集所有任务和类别的样本。为此，我们使用一种称为反向蒸馏（back-distillation）的新蒸馏算法来克服网络移植的特定挑战。我们无训练样本的方法甚至优于具有 100 个训练样本的基线。
引用
@article{arxiv.1804.10272,
title = {Network Transplanting},
author = {Quanshi Zhang and Yu Yang and Qian Yu and Ying Nian Wu},
journal= {arXiv preprint arXiv:1804.10272},
year = {2018}
}