QBDC：基于dropout委员会查询的深度监督架构训练
机器学习
2016-02-22 v2 计算机视觉与模式识别
摘要
虽然当前趋势是通过增加神经网络深度来提升其性能，但其训练数据库的大小也须相应增长。我们注意到出现了海量数据库，尽管提供标签来构建训练集仍是一项非常昂贵的任务。我们解决了在线方式下选择待标注样本的问题。本文提出一种基于委员会查询(query by committee)和dropout技术的主动学习策略来训练卷积神经网络(CNN)。我们从初始CNN的批量dropout运行推导出部分CNN的委员会。我们在MNIST基准上评估了我们的CNN主动学习策略，特别显示出从标注数据库中选取少于30%就足以获得与使用完整训练集在MNIST上类似的错误率。我们还研究了方法对抗样本的鲁棒性。
引用
@article{arxiv.1511.06412,
title = {QBDC: Query by dropout committee for training deep supervised architecture},
author = {Melanie Ducoffe and Frederic Precioso},
journal= {arXiv preprint arXiv:1511.06412},
year = {2016}
}
备注
Submitted to ICLR2016