基于正则化深度网络的高效K样本学习
计算机视觉与模式识别
2017-10-09 v1 机器学习
机器学习
摘要
预训练深度神经网络的特征表示已被证明在一系列相关任务中展现出优异的泛化能力和实用性。微调是迄今为止最简单且应用最广泛的方法，旨在利用这些特征表示并将其适配到数据有限的新任务中。尽管微调有效，但它往往并非最优，且需要非常谨慎的优化以防止在小数据集上严重过拟合。次优性和过拟合问题部分源于典型深度卷积神经网络中使用的大量参数。为解决这些问题，我们针对K样本学习任务，提出了一种简单而有效的正则化方法，用于微调预训练深度网络。为防止过拟合，我们的核心策略是对模型参数进行聚类，同时确保参数的簇内相似性和簇间多样性，从而有效正则化参数搜索空间的维度。具体而言，我们在深度网络的每一层中识别出具有相似激活模式的神经元组。当网络仅使用K个样本针对分类任务进行微调时，我们将单一梯度传播给属于同一组的所有神经元参数。神经元的分组并非平凡问题，因为神经元激活依赖于输入数据的分布。为高效搜索以输入数据为条件的最优分组，我们提出了一种基于强化学习的搜索策略，使用循环网络来学习每个网络层的最优组分配。实验结果表明，我们的方法可轻松应用于多种流行的卷积神经网络，并比其他基于微调的最先进K样本学习策略提升超过10%。
引用
@article{arxiv.1710.02277,
title = {Efficient K-Shot Learning with Regularized Deep Networks},
author = {Donghyun Yoo and Haoqi Fan and Vishnu Naresh Boddeti and Kris M. Kitani},
journal= {arXiv preprint arXiv:1710.02277},
year = {2017}
}