基于二次间隙的广义核诱导点用于数据蒸馏
机器学习
2025-02-19 v1 机器学习
摘要
我们提出 Duality Gap KIP（DGKIP），这是一种针对 Kernel Inducing Points（KIP）方法的数据蒸馏扩展。虽然现有数据蒸馏方法常依赖双层优化，但 DGKIP 通过利用凸规划中的二次间隙理论，消除了这种优化需求。KIP 方法作为避免双层优化的一种方法，但仅限于平方损失，不支持其他更适用于分类任务的损失函数（如交叉熵或 hinge loss）。DGKIP 通过利用数据蒸馏后参数变化的上界，利用二次间隙实现了对更广泛损失函数的支持。我们还通过提供数据蒸馏后测试误差和预测一致性的上界，阐述了 DGKIP 的理论属性。在 MNIST 和 CIFAR-10 等标准基准数据集上的实验结果表明，DGKIP 保留了 KIP 的效率，同时具备更广泛的适用性和稳健的性能。
引用
@article{arxiv.2502.12607,
title = {Generalized Kernel Inducing Points by Duality Gap for Dataset Distillation},
author = {Tatsuya Aoyama and Hanting Yang and Hiroyuki Hanada and Satoshi Akahane and Tomonari Tanaka and Yoshito Okura and Yu Inatsu and Noriaki Hashimoto and Taro Murayama and Hanju Lee and Shinya Kojima and Ichiro Takeuchi},
journal= {arXiv preprint arXiv:2502.12607},
year = {2025}
}