卷积神经网络的有效版本空间约简
机器学习
2020-06-23 v1 计算机视觉与模式识别
机器学习
摘要
在主动学习中，采样偏差可能引发严重的不一致问题，并阻碍算法找到最优假设。然而，许多面向神经网络的方法与假设空间无关，并未解决该问题。我们通过版本空间约简这一严谨视角审视卷积神经网络的主动学习。我们辨识出两种方法——先验质量约简与直径约简——之间的联系，并提出一种新的基于直径的查询方法——最小 Gibbs 投票不一致。通过估计版本空间直径与偏差，我们阐释了神经网络的版本空间如何演化，并检验了可实现性假设。在 MNIST、Fashion-MNIST、SVHN 和 STL-10 数据集上的实验表明，直径约简方法比先验质量约简及其他基线更有效地约简版本空间且表现更优，且 Gibbs 投票不一致与最佳查询方法相当。
引用
@article{arxiv.2006.12456,
title = {Effective Version Space Reduction for Convolutional Neural Networks},
author = {Jiayu Liu and Ioannis Chiotellis and Rudolph Triebel and Daniel Cremers},
journal= {arXiv preprint arXiv:2006.12456},
year = {2020}
}
备注
22 pages, 8 figures, to be published in the Proceedings of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2020