竞争学习丰富学习表征并加速 CNN 的微调
机器学习
2018-04-27 v1 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
在本研究中，我们提出将竞争学习整合进卷积神经网络（convolutional neural networks, CNNs）以改善表征学习与微调效率。常规 CNNs 使用反向传播学习，其通过判别任务实现强大的表征学习。然而，它需要海量标注数据，而标注数据的获取远比无标注数据困难。因此，对深度神经网络（DNNs）而言，无标注数据的有效利用正变得至关重要。为解决该问题，我们将无监督竞争学习引入卷积层，并利用无标注数据进行有效的表征学习。使用玩具模型的验证实验结果表明，强表征学习利用无标注数据将图像基有效提取进卷积滤波器，并加速了后续有监督反向传播学习的微调速度。当滤波器数量足够大时该效用更为明显，且在此情况下错误率在微调初始阶段急剧下降。因此，所提方法扩大了 CNNs 中滤波器数量，并实现了更细致且泛化的表征。其或可提供一种不仅深且宽的神经网络的可能性。
引用
@article{arxiv.1804.09859,
title = {Competitive Learning Enriches Learning Representation and Accelerates the Fine-tuning of CNNs},
author = {Takashi Shinozaki},
journal= {arXiv preprint arXiv:1804.09859},
year = {2018}
}
备注
Appeared at NIPS 2017 Workshop: Deep Learning: Bridging Theory and Practice