可分离数据上广义间隔最大化器（GMM）的性能分析

逻辑模型常用于二分类任务。此类模型的成功常归因于其与最大似然估计的联系。已有研究表明，应用于逻辑损失上的梯度下降算法会收敛到最大间隔分类器（即硬间隔 SVM）。最大间隔分类器的性能近来已被分析。受这些结果启发，本文提出并研究一种更一般的设定：逻辑模型的底层参数具有特定结构（稀疏、块稀疏、低秩等），并引入一个更一般的框架（称为“广义间隔最大化器”，GMM）。经典最大间隔分类器在线性分离数据的约束下最小化参数向量的 $2$-范数，而 GMM 最小化参数向量的任意凸函数。我们通过一组非线性方程组的解对 GMM 的性能给出精确分析。我们还对三种特殊情况进行了详细研究：（$1$）$\ell_2$-GMM，即最大间隔分类器；（$2$）$\ell_1$-GMM，促进稀疏性；（$3$）$\ell_{\infty}$-GMM，常用于参数向量为二值条目时。我们的理论结果通过跨越一系列参数值、问题实例和模型结构的大量仿真得到验证。