调度去噪自编码器
机器学习
2015-04-14 v3 机器学习
摘要
我们提出了一种表征学习方法，该方法可在多个不同尺度上学习特征。在去噪自编码器的无监督框架下，我们观察到，当训练期间输入受到严重破坏时，网络倾向于学习粗粒度特征，而当输入仅受到轻微破坏时，网络倾向于学习细粒度特征。这激发了调度去噪自编码器的构想，该方法从高噪声水平开始，并随着训练的进行逐渐降低噪声。我们发现，与原始输入或在单一噪声水平下训练的标准去噪自编码器相比，由此产生的表征在后续的监督任务中带来了显著提升。经过监督微调后，我们的最佳模型在 CIFAR-10 数据集上实现了置换不变方法中迄今报道的最低误差。
引用
@article{arxiv.1406.3269,
title = {Scheduled denoising autoencoders},
author = {Krzysztof J. Geras and Charles Sutton},
journal= {arXiv preprint arXiv:1406.3269},
year = {2015}
}
备注
Published as a conference paper at ICLR 2015