通过逐类不变表示学习实现神经网络正则化
机器学习
2017-12-25 v4 机器学习
摘要
训练深度神经网络已知需要大量训练样本。然而，在许多应用中只有少量训练样本可用。在这项工作中，我们解决了当训练样本很少时训练神经网络进行分类任务的问题。我们试图通过提出一个新的正则化项来解决这个问题，该正则化项约束网络的隐藏层学习逐类不变表示。在我们的正则化框架中，学习不变表示被推广到类成员关系，其中具有相同类别的样本应具有相同的表示。在MNIST及其变体上的数值实验表明，我们的方法有助于提高神经网络的泛化能力，特别是在使用少量样本训练时。我们提供了我们框架的源代码：https://github.com/sbelharbi/learning-class-invariant-features。
引用
@article{arxiv.1709.01867,
title = {Neural Networks Regularization Through Class-wise Invariant Representation Learning},
author = {Soufiane Belharbi and Clément Chatelain and Romain Hérault and Sébastien Adam},
journal= {arXiv preprint arXiv:1709.01867},
year = {2017}
}
备注
Submitted to ELSEVIER, 13 pages, 5 figures