在小数据任务上利用无限宽深度网络的力量
机器学习
2019-10-29 v3 机器学习
摘要
近期研究表明以下两种模型等价:(a) 在 l2 损失下以无穷小学习率经梯度下降训练的无限宽神经网络(NN);(b) 关于所谓神经正切核(NTK)的核回归(Jacot 等,2018)。Arora 等(2019a)给出了计算 NTK 及其卷积对应物的高效算法,从而得以研究无限宽网络在 CIFAR-10 等数据集上的表现。然而,核方法的超二次运行时间使其最适用于小数据任务。我们报告的结果表明神经正切核在低数据任务上表现强劲。1. 在 UCI 数据库的分类/回归标准测试台上,NTK SVM 击败了此前的金标准随机森林(RF)以及相应的有限宽网络。2. 在训练样本数为 10–640 的 CIFAR-10 上,卷积 NTK 稳定地以 1%–3% 优于 ResNet-34。3. 在用于 ImageNet 上少样本图像分类任务的 VOC07 测试台(采用迁移学习,Goyal 等,2019)中,将当前所用的线性 SVM 替换为卷积 NTK SVM 稳定地提升了性能。4. 比较 NTK 与其所源自的有限宽网络的表现,NTK 行为在比理论分析(Arora 等,2019a)所暗示的更低的网络宽度处即已出现。NTK 的有效性可能源于输出的更低方差。
引用
@article{arxiv.1910.01663,
title = {Harnessing the Power of Infinitely Wide Deep Nets on Small-data Tasks},
author = {Sanjeev Arora and Simon S. Du and Zhiyuan Li and Ruslan Salakhutdinov and Ruosong Wang and Dingli Yu},
journal= {arXiv preprint arXiv:1910.01663},
year = {2019}
}
备注
Code for UCI experiments: https://github.com/LeoYu/neural-tangent-kernel-UCI