BACON：面向数据集蒸馏的贝叶斯最优凝聚框架
计算机视觉与模式识别
2024-06-04 v1
摘要
数据集蒸馏旨在将大规模数据集中的知识蒸馏为更紧凑的数据集，同时保持测试集上的性能，从而降低存储成本和训练开销。然而，现有方法通常计算强度大，尤其在大数据集规模下表现欠佳，这归因于缺乏分析数据集蒸馏问题的稳健理论框架。为应对这些挑战，我们提出了贝叶斯最优凝聚框架（BACON），这是首个将贝叶斯理论框架引入数据集蒸馏文献的工作。该框架为提升数据集蒸馏性能提供了理论支持。此外，BACON 利用贝叶斯框架将数据集蒸馏问题表述为联合概率分布中期望风险函数的最小化。进一步地，通过分析最优凝聚的期望风险函数，我们基于特定假设推导出一个数值上可行的下界，为 BACON 提供了近似解。我们在多个数据集上验证了 BACON，证明其性能优于现有最先进方法。例如，在 IPC-10 设置下，BACON 在 CIFAR-10 数据集上相比 IDM 方法获得了 3.46% 的准确率提升，在 TinyImageNet 数据集上提升了 3.10%。大量实验证实了 BACON 的有效性及其与现有方法的无缝集成，从而提升了它们在数据集蒸馏任务上的性能。代码和蒸馏数据集可在 BACON 获取。
引用
@article{arxiv.2406.01112,
title = {BACON: Bayesian Optimal Condensation Framework for Dataset Distillation},
author = {Zheng Zhou and Hongbo Zhao and Guangliang Cheng and Xiangtai Li and Shuchang Lyu and Wenquan Feng and Qi Zhao},
journal= {arXiv preprint arXiv:2406.01112},
year = {2024}
}
备注
22 pages, 10 figures