铭记过去：将数据集蒸馏为神经网络的可寻址记忆
机器学习
2022-11-22 v2 人工智能
计算机视觉与模式识别
摘要
我们提出一种算法，将大型数据集的关键信息压缩为紧凑的可寻址记忆。随后可调用这些记忆来快速重新训练神经网络并恢复性能（而非存储完整原始数据集并重新训练）。在数据集蒸馏框架的基础上，我们提出一个关键观察：共享的通用表示能够实现更高效且更有效的蒸馏。具体而言，我们学习一组在类别间共享并通过学习的灵活寻址函数组合以生成多样化训练样本的基（即“记忆”）。这带来若干好处：1）压缩数据的大小不必随类别数量线性增长；2）实现了更高的整体压缩率与更有效的蒸馏；3）允许超出原始类别回忆的更通用查询。我们在六个基准上展示了数据集蒸馏任务上的最先进结果，包括在蒸馏 CIFAR10 和 CIFAR100 时分别获得高达 16.5% 和 9.7% 的保留精度提升。随后我们利用我们的框架进行持续学习，在四个基准上取得最先进结果，在 MANY 上精度提升 23.2%。代码发布于我们的项目网页 https://github.com/princetonvisualai/RememberThePast-DatasetDistillation。
引用
@article{arxiv.2206.02916,
title = {Remember the Past: Distilling Datasets into Addressable Memories for Neural Networks},
author = {Zhiwei Deng and Olga Russakovsky},
journal= {arXiv preprint arXiv:2206.02916},
year = {2022}
}