基于凸化隐式梯度的数据集蒸馏
机器学习
2023-11-13 v2 计算机视觉与模式识别
机器学习
摘要
我们提出了一种利用隐式梯度重参数化与凸化(RCIG)的新数据集蒸馏算法,大幅提升了当前最优水平。为此,我们首先将数据集蒸馏表述为一个双层优化问题。随后,我们展示了如何有效利用隐式梯度来计算元梯度更新。我们进一步为该算法配备了一种凸化近似,对应于在冻结的有限宽神经正切核之上进行学习。最后,我们通过参数化神经网络以在给定主体参数时解析计算末层参数,从而改善了隐式梯度中的偏差。RCIG在一系列多样的数据集蒸馏任务上确立了新的SOTA。值得注意的是,在每类一张图像的情况下,在 resized ImageNet 上,RCIG平均比先前SOTA蒸馏算法提升108%。类似地,我们在Tiny-ImageNet上观察到比SOTA提升66%,在CIFAR-100上提升37%。
引用
@article{arxiv.2302.06755,
title = {Dataset Distillation with Convexified Implicit Gradients},
author = {Noel Loo and Ramin Hasani and Mathias Lechner and Daniela Rus},
journal= {arXiv preprint arXiv:2302.06755},
year = {2023}
}