可扩展最优间隔分布机
机器学习
2023-06-13 v4
摘要
最优间隔分布机（ODM）是根植于新颖间隔理论新近提出的统计学习框架，其展现出优于传统基于大间隔对应方法的泛化性能。然而，与其他核方法一样，它在计算时间与内存方面均面临普遍的可扩展性问题。本文提出一种可扩展ODM，相较原始ODM训练方法可实现近十倍加速。对于非线性核，我们提出一种新颖的分布式感知划分方法，使各划分上训练的局部ODM接近并快速收敛于全局ODM。当采用线性核时，我们扩展了一种通信高效的SVRG方法以进一步加速训练。大量实证研究表明，我们所提方法计算高效且几乎从不恶化泛化性能。
引用
@article{arxiv.2305.04837,
title = {Scalable Optimal Margin Distribution Machine},
author = {Yilin Wang and Nan Cao and Teng Zhang and Xuanhua Shi and Hai Jin},
journal= {arXiv preprint arXiv:2305.04837},
year = {2023}
}