具有自适应 Nyström 近似的深度网络
机器学习
2019-12-02 v1 机器学习
摘要
近期工作聚焦于结合核方法与深度学习以利用两种方法的优势。此处，我们引入一种新的神经网络架构，其中用基于 Nyström 近似的核函数逼近替换标准卷积架构的顶层全连接层。我们的方法简易且高度灵活。它兼容任意核函数，并允许利用多个核。我们表明，在 SVHN 与 CIFAR100 等数据集上，我们的架构具有与标准架构相同的性能。该方法的一个益处在于其可学习参数数量有限，这使其特别适用于较小的训练集规模，例如每类 5 到 20 个样本。
引用
@article{arxiv.1911.13036,
title = {Deep Networks with Adaptive Nystr\"om Approximation},
author = {Luc Giffon and Stéphane Ayache and Thierry Artières and Hachem Kadri},
journal= {arXiv preprint arXiv:1911.13036},
year = {2019}
}