使用滤波器树在 CNN 中进行迁移学习
计算机视觉与模式识别
2017-11-28 v1
摘要
卷积神经网络（CNNs）对许多模式识别任务非常有效。然而，训练深度 CNN 需要大量计算与大型训练数据。在本文中我们提出滤波器树库（Bank of Filter-Trees, BFT）作为一种迁移学习机制，用于提升 CNN 的学习效率。对应于 CNN 第 k 个卷积层中一个滤波器的滤波器树，是一个由该滤波器及其到所有前层滤波器的全部连接构成的子网络。从在许多不同但相关任务上学习到的多个 CNN 的第 k 层创建的此类滤波器树集成，构成了 BFT。为学习一个新的 CNN，我们从 BFT 中采样以选择一组滤波器树。这将目标网络固定到第 k 层，仅剩余网络使用新任务的训练数据学习。通过仿真我们证明了 BFT 这一思想的有效性。该方法构成了一种新颖的迁移学习技术，其迁移在子网络层面进行；可从多个源网络进行迁移；并且，在不对迁移权重进行微调的情况下，所达到的性能与从头训练的网络的性能相当。
引用
@article{arxiv.1711.09648,
title = {Transfer Learning in CNNs Using Filter-Trees},
author = {Suresh Kirthi Kumaraswamy and PS Sastry and KR Ramakrishnan},
journal= {arXiv preprint arXiv:1711.09648},
year = {2017}
}
备注
8 pages, 3 figures