不变分类器的泛化误差
机器学习
2017-07-04 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
本文研究不变分类器的泛化误差。具体地，我们考虑分类任务对输入的某些变换具有不变性，且分类器被构造（或学习）为对这些变换保持不变性的常见场景。我们的方法依赖于将输入空间分解为一个基空间与一组变换的乘积。我们表明，非不变分类器的泛化误差与输入空间的复杂度成正比，而不变分类器的泛化误差与基空间的复杂度成正比。我们还导出关于基空间几何和变换集的一组充分条件，确保基空间的复杂度远小于输入空间的复杂度。我们的分析适用于诸如卷积神经网络等一般分类器。我们在 MNIST 和 CIFAR-10 数据集上通过实验展示了所发展理论对此类分类器的启示。
引用
@article{arxiv.1610.04574,
title = {Generalization Error of Invariant Classifiers},
author = {Jure Sokolic and Raja Giryes and Guillermo Sapiro and Miguel R. D. Rodrigues},
journal= {arXiv preprint arXiv:1610.04574},
year = {2017}
}
备注
Accepted to AISTATS. This version has updated references