通过旋转稀疏化 Fisher 线性判别
统计方法学
2014-08-21 v1
摘要
文献中已提出许多基于稀疏线性判别分析 (LDA) 的高维分类技术。为了有效利用它们，线性分类器的稀疏性是一个先决条件。然而，这在许多应用中可能无法直接获得，因此需要对数据进行旋转以产生所需的稀疏性。在本文中，我们提出了一族旋转方法来产生所需的稀疏性。基本思想是利用合并样本的样本协方差矩阵及其变体的主成分首先对数据进行旋转，然后应用现有的高维分类器。这种“旋转 - 求解”过程可以与任何现有分类器结合使用，并且对真实模型的稀疏度水平具有鲁棒性。我们证明了这些旋转确实产生了高维分类所需的稀疏性，并从理论上解释了为何这种旋转在经验上有效。通过多个模拟和真实数据示例展示了所提方法的有效性，并清晰地显示了我们的方法相对于一些流行的高维分类规则的改进。
引用
@article{arxiv.1408.4475,
title = {Sparsifying the Fisher Linear Discriminant by Rotation},
author = {Ning Hao and Bin Dong and Jianqing Fan},
journal= {arXiv preprint arXiv:1408.4475},
year = {2014}
}
备注
30 pages and 9 figures. This paper has been accepted by Journal of the Royal Statistical Society: Series B (Statistical Methodology). The first two versions of this paper were uploaded to Bin Dong's web site under the title "A Rotate-and-Solve Procedure for Classification" in 2013 May and 2014 January. This version may be slightly different from the published version