离散 Rényi 分类器

考虑从离散特征向量 $X = (X_1,...,X_d)$ 预测目标变量 $Y$ 的二分类问题。当概率分布 $\mathbb{P}(X,Y)$ 已知时，导致最小误分类率的最优分类器由最大后验概率决策规则给出。然而，对于较大的 $d$，估计完整的联合分布 $\mathbb{P}(X,Y)$ 在计算和统计上是不可能的。另一种方法是首先估计 $\mathbb{P}(X,Y)$ 的一些低阶边缘分布，然后基于估计的低阶边缘分布设计分类器。当由于隐私问题无法获得完整训练数据实例时，该方法也有帮助。在这项工作中，我们考虑基于 $(X,Y)$ 的一些估计低阶边缘分布寻找最优分类器的问题。我们证明，对于给定的边缘分布集合，[1]中引入的最小 Hirschfeld-Gebelein-Renyi (HGR) 相关原理导致一个随机化分类规则，其误分类率不大于最优分类器误分类率的两倍。然后，在可分离条件下，我们表明所提出的算法等价于随机化线性回归方法。此外，该方法自然产生一种鲁棒的特征选择方法，选择具有与目标变量最大最坏情况 HGR 相关的特征子集。我们的理论上界类似于最近的离散 Chebyshev 分类器 (DCC) 方法 [2]，而所提出的算法具有显著的计算优势，因为它只需要求解一个最小二乘优化问题。最后，我们在数值上将我们的算法与 DCC 分类器比较，表明所提算法在各种数据集上获得更好的误分类率。