发散模型空间中支持向量机的最优模型平均
机器学习
2022-07-25 v3 机器学习
摘要
支持向量机（SVM）是一种强大的分类方法，已在许多领域取得巨大成功。由于其性能可能受到冗余协变量的严重影响，高维协变量下的SVM广泛采用模型选择技术。作为模型选择的替代方案，过去几十年中模型平均领域取得了显著进展。然而，尚无频率学派模型平均方法被用于SVM。本文旨在填补这一空白，提出一种SVM的频率学派模型平均方法，通过交叉验证选择最优权重。即使协变量数量以样本量的指数速率发散，我们证明了所提方法在渐近最优性意义上成立，即其铰链损失与最低可能损失之比收敛于1。我们还推导了收敛速率，为模型平均提供了更多见解。与SVM的模型选择方法需要繁琐但关键的调参任务相比，模型平均方法避免了该任务，并在实证研究中表现出良好性能。
引用
@article{arxiv.2112.12961,
title = {Optimal Model Averaging of Support Vector Machines in Diverging Model Spaces},
author = {Chaoxia Yuan and Chao Ying and Zhou Yu and Fang Fang},
journal= {arXiv preprint arXiv:2112.12961},
year = {2022}
}
备注
need to be improved further