数据集蒸馏综述：方法、应用与未来方向
机器学习
2023-08-25 v3
摘要
随着训练集规模持续增长以及训练最先进模型的成本日益高昂，数据集蒸馏在机器学习中正受到越来越多的关注。通过合成具有高信息密度的数据集，数据集蒸馏提供了一系列潜在应用，包括支持持续学习、神经架构搜索以及隐私保护。尽管近期取得了进展，我们仍缺乏对方法与应用的整体理解。我们的综述旨在通过首先提出数据集蒸馏的分类法、刻画现有方法，进而系统回顾数据模态及相关应用来弥合这一差距。此外，我们总结了该研究领域面临的挑战并讨论了未来方向。
引用
@article{arxiv.2305.01975,
title = {A Survey on Dataset Distillation: Approaches, Applications and Future Directions},
author = {Jiahui Geng and Zongxiong Chen and Yuandou Wang and Herbert Woisetschlaeger and Sonja Schimmler and Ruben Mayer and Zhiming Zhao and Chunming Rong},
journal= {arXiv preprint arXiv:2305.01975},
year = {2023}
}