样本高效设定下的赫布半监督学习
神经与进化计算
2021-09-21 v2 计算机视觉与模式识别
机器学习
摘要
我们提出在深度卷积神经网络（DCNN）中，通过结合赫布学习与梯度下降的半监督训练策略来解决样本效率问题：所有内部层（包括卷积层和全连接层）使用基于赫布学习的无监督方法进行预训练，最后的全连接层（分类层）使用随机梯度下降（SGD）进行训练。事实上，由于赫布学习是一种无监督学习方法，其潜力在于无需标签即可训练DCNN的内部层。仅最后的全连接层需用带标签样本训练。我们在多个目标识别数据集上、在不同样本效率 regime 下进行了实验，将我们的半监督方法（内部层赫布+最终全连接层SGD）与端到端有监督反向传播训练以及基于变分自编码器（VAE）的半监督学习进行比较。结果表明，在可用标签样本数量较少的 regime 下，我们的半监督方法在几乎所有情况下都优于其他方法。
引用
@article{arxiv.2103.09002,
title = {Hebbian Semi-Supervised Learning in a Sample Efficiency Setting},
author = {Gabriele Lagani and Fabrizio Falchi and Claudio Gennaro and Giuseppe Amato},
journal= {arXiv preprint arXiv:2103.09002},
year = {2021}
}
备注
18 pages, 9 figures, 3 tables, accepted by Elsevier Neural Networks