基于无限宽卷积网络的数据集蒸馏
机器学习
2022-01-19 v3
摘要
机器学习算法的有效性源于能够从大量数据中提取有用的特征。随着模型和数据集规模的增长，将大型数据集压缩为显著更小但性能极高的数据集的数据集蒸馏方法，将在训练效率和有用特征提取方面变得有价值。为此，我们应用一种新颖的基于分布式核的元学习框架，利用无限宽卷积神经网络在数据集蒸馏上取得了最先进的结果。例如，仅使用 10 个数据点（原始数据集的 0.02%），我们在 CIFAR-10 图像分类任务上获得了超过 65% 的测试准确率，相比之前 40% 的最佳测试准确率有显著提升。我们在 MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100 和 SVHN 的许多其他设置中也取得了最先进的结果。此外，我们对蒸馏数据集进行了一些初步分析，以揭示它们与自然出现的数据有何不同。
引用
@article{arxiv.2107.13034,
title = {Dataset Distillation with Infinitely Wide Convolutional Networks},
author = {Timothy Nguyen and Roman Novak and Lechao Xiao and Jaehoon Lee},
journal= {arXiv preprint arXiv:2107.13034},
year = {2022}
}
备注
NeurIPS 2021. Code and datasets available at https://github.com/google-research/google-research/tree/master/kip