网络移植（扩展摘要）
机器学习
2019-01-23 v1 机器学习
摘要
本文关注一项新任务，即在无强监督条件下将特定类别与任务的神经网络移植到一个通用的模块化网络中。我们为通用网络设计了一种功能可解释的结构。如同搭建乐高积木一般，我们通过直接从预训练网络中移植对应类别的模块，以少量甚至无需样本标注的方式，教给通用网络一个新类别。我们的方法以增量方式向通用网络添加新类别，且不影响已有类别的表示。借此，我们的方法打破了为海量任务与类别学习一个网络时的典型瓶颈，即在学习开始之前需同时收集所有任务与类别的样本。为此，我们采用一种称为反向蒸馏（back-distillation）的新蒸馏算法，以克服网络移植的特定挑战。我们无需训练样本的方法甚至优于使用100个训练样本的基线。
引用
@article{arxiv.1901.06978,
title = {Network Transplanting (extended abstract)},
author = {Quanshi Zhang and Yu Yang and Qian Yu and Ying Nian Wu},
journal= {arXiv preprint arXiv:1901.06978},
year = {2019}
}
备注
In AAAI-19 Workshop on Network Interpretability for Deep Learning. arXiv admin note: substantial text overlap with arXiv:1804.10272