用于深度神经网络的参数迁移单元
机器学习
2018-04-25 v1 机器学习
摘要
在大尺度数据库上训练的深度神经网络中的参数可以跨多个领域泛化，这被称为“可迁移性”。遗憾的是，可迁移性通常被定义为离散状态，并且随领域和网络架构而不同。现有工作通常启发式地应用参数共享或微调，缺乏原则性的方法来学习参数迁移策略。为弥补这一不足，本文提出参数迁移单元（PTU）。PTU 学习来自源域和目标域网络激活的细粒度非线性组合，并涵盖了手工设计的离散迁移状态。在 PTU 中，可迁移性由两个门控控制，这两个门控是人工神经元且可从数据中学习。PTU 是一个通用且灵活的模块，可用于 CNN 和 RNN。我们使用多种网络架构和多个迁移领域对进行了实验。结果证明了 PTU 的有效性，因为在大多数设置下它优于启发式参数共享和微调。
引用
@article{arxiv.1804.08613,
title = {Parameter Transfer Unit for Deep Neural Networks},
author = {Yinghua Zhang and Yu Zhang and Qiang Yang},
journal= {arXiv preprint arXiv:1804.08613},
year = {2018}
}