知识流:超越你的老师
机器学习
2019-04-12 v1 机器学习
摘要
如今,针对几乎任何给定任务都有大量的深度网络可供选择,在处理新任务时,或者在选择哪个网络作为微调新模型的初始化时,越来越不清楚应从哪个网络开始。为了解决这个问题,在本文中,我们开发了知识流,它将来自多个深度网络(称为老师)的“知识”转移到一个新的深度网络模型(称为学生)。老师和学生的结构可以任意不同,它们也可以在完全不同的任务上训练并具有不同的输出空间。通过知识流进行训练后,学生将独立于老师。我们在各种监督和强化学习任务上展示了我们的方法,其表现优于微调和其他“知识交换”方法。
引用
@article{arxiv.1904.05878,
title = {Knowledge Flow: Improve Upon Your Teachers},
author = {Iou-Jen Liu and Jian Peng and Alexander G. Schwing},
journal= {arXiv preprint arXiv:1904.05878},
year = {2019}
}
备注
Accepted to ICLR 2019