用于 SVM 训练的自适应核值缓存
机器学习
2019-11-11 v1 性能
机器学习
摘要
支持向量机（SVM）可解决结构化多输出学习问题，如多标签分类、多类分类和向量回归。SVM 训练代价高昂，尤其对于大规模高维数据集。SVM 训练的瓶颈常在于核值计算。在许多实际问题中，相同的核值在整个训练过程的多次迭代中被使用，这使得核值缓存具有潜在效用。现有多数研究简单地采用 LRU（最近最少使用）替换策略来缓存核值。然而，正如本文所分析，LRU 策略通常在训练最后阶段获得高命中率，但在整个训练过程中表现不佳。因此，我们提出一种称为 EFU（较少使用）的新缓存策略，它替换较少使用的核值，是对 LFU（最不经常使用）的增强。我们的实验结果表明，在使用高斯核的训练中，EFU 的命中率通常比 LRU 高 20%。为进一步优化该策略，我们提出一种称为 HCST（SVM 训练的混合缓存）的缓存策略，其具有一种新颖机制，可在训练的不同阶段自动适配更优的缓存策略。我们已将该方法集成到近期面向多核处理器的 SVM 库 ThunderSVM 中。实验表明，在包括多标签分类、多类分类和回归问题在内的不同问题上，HCST 能以极小的运行开销自适应地实现高命中率。与其他现有缓存策略相比，HCST 平均额外减少 20% 的训练时间。
引用
@article{arxiv.1911.03011,
title = {Adaptive Kernel Value Caching for SVM Training},
author = {Qinbin Li and Zeyi Wen and Bingsheng He},
journal= {arXiv preprint arXiv:1911.03011},
year = {2019}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems (TNNLS)