利用随机标签记忆进行无监督预训练
机器学习
2018-11-06 v1 机器学习
摘要
我们提出了一种新方法，通过在随机标记的数据集上预训练最先进的深度神经网络来利用大型无标签数据集。具体而言，我们训练神经网络记忆数据集中所有样本的任意标签，并将这些预训练网络作为常规监督学习的起点。我们的假设是，网络在随机标签训练期间学到的“记忆基础设施”对常规监督学习同样有益。我们在多个视频动作识别数据集(HMDB51、UCF101、Kinetics)上测试了我们的预训练的有效性，比较了相同网络在有和无随机标签预训练下的结果。我们的方法在分类准确率上带来了提升——从UCF-101上的1.5%到Kinetics上的5%——这呼吁该方向的进一步研究。
引用
@article{arxiv.1811.01640,
title = {Leveraging Random Label Memorization for Unsupervised Pre-Training},
author = {Vinaychandran Pondenkandath and Michele Alberti and Sammer Puran and Rolf Ingold and Marcus Liwicki},
journal= {arXiv preprint arXiv:1811.01640},
year = {2018}
}
备注
6 pages