深度支持向量
机器学习
2025-07-01 v3 人工智能
摘要
深度学习已取得巨大成功。然而，与支持向量机（SVM）不同，后者提供直接的决策标准且可用小数据集训练，深度学习仍存在显著弱点，因其训练需要海量数据集且决策标准具有黑箱特性。本文通过识别深度学习模型中的支持向量来解决这些问题。为此，我们提出了DeepKKT条件，这是传统Karush-Kuhn-Tucker（KKT）条件针对深度学习模型的改编，并证实使用该条件生成的深度支持向量（DSV）表现出与传统支持向量相似的性质。这使我们能够将方法应用于小样本数据集蒸馏问题，并缓解深度学习模型的黑箱特性。此外，我们证明DeepKKT条件可以将传统分类模型转化为高保真度的生成模型，特别是作为以类别标签为潜变量的潜变量生成模型。我们在通用架构（ResNet和ConvNet）上使用常用数据集（ImageNet、CIFAR10和CIFAR100）验证了DSV的有效性，证明了其实用性。
引用
@article{arxiv.2403.17329,
title = {Deep Support Vectors},
author = {Junhoo Lee and Hyunho Lee and Kyomin Hwang and Nojun Kwak},
journal= {arXiv preprint arXiv:2403.17329},
year = {2025}
}
备注
Neurips 2024