基于深度支持向量的数学实用数据蒸馏
机器学习
2024-05-02 v1
摘要
传统数据蒸馏需要大量计算资源，并假设可获取整个数据集，这在实际中难以实现，因为它预设了所有数据都存储在中心服务器上。本文聚焦于仅获取数据集部分数据量的实际场景，引入一种新颖的蒸馏方法，通过加入深度KKT (DKKT) 损失来融合通用模型知识。我们的方法在实际应用中相较于基线分布匹配蒸馏方法在 CIFAR-10 数据集上表现出 improved 的性能。此外，我们还提出实验证据表明，深度支持向量 (DSV) 为原始蒸馏提供独特信息，其集成结果能提升性能。
引用
@article{arxiv.2405.00348,
title = {Practical Dataset Distillation Based on Deep Support Vectors},
author = {Hyunho Lee and Junhoo Lee and Nojun Kwak},
journal= {arXiv preprint arXiv:2405.00348},
year = {2024}
}