Wasserstein 分布鲁棒多类支持向量机

我们研究了数据特征 $\mathbf{x}$ 及其标签 $\mathbf{y}$ 不确定情形下的多类分类问题。我们发现，分布鲁棒的一对多 (OVA) 分类器在不平衡数据环境中往往表现不佳。为了解决这个问题，我们使用 Wasserstein 分布鲁棒优化，开发了一种以 Crammer-Singer (CS) 损失为特征的鲁棒多类支持向量机 (SVM) 版本。首先，我们证明对于所有 $\mathbf{x} \in \mathcal{X}$ 和 $\mathbf{y} \in \mathcal{Y}$，CS 损失被一个 Lipschitz 连续函数有上界，然后我们利用强对偶性结果来表示最坏情况风险问题的对偶形式，并表明由于 CS 损失的正则性，最坏情况风险最小化问题存在一个易于处理的凸重构。此外，我们开发了所提模型的核版本来处理非线性类别分离，并表明它存在一个易于处理的凸上界。我们还针对所提线性模型的一个特例提出了一种投影次梯度方法算法，以提高可扩展性。我们的数值实验表明，在训练数据高度不平衡的环境中，我们的模型优于最先进的 OVA 模型。我们还通过在流行的真实世界数据集上的实验表明，由于前者考虑了不确定标签而后者没有，我们提出的模型通常优于其正则化对应模型。