基于广义差分子空间投影的判别分析
机器学习
2019-10-31 v2 计算机视觉与模式识别
机器学习
摘要
本文讨论一种基于数据正交投影到广义差分子空间（GDS）的新型判别分析。在我们之前的工作中，已证明 GDS 投影起到类子空间准正交化的作用，这是基于子空间分类器的有效特征提取方法。有趣的是，GDS 投影也通过类似于 Fisher 判别分析（FDA）的机制起到判别特征提取的作用。由于二者公式存在显著差异，直接证明 GDS 投影与 FDA 的联系较为困难。为避免该困难，我们首先基于简化的 Fisher 准则引入几何 Fisher 判别分析（gFDA）。我们的简化 Fisher 准则源于一个启发式但实践中合理的原理：在通过应用主成分分析（PCA）且不进行数据中心化来计算主成分向量的条件下，类的样本均值向量方向在大多数情况下几乎等于该类第一主成分向量的方向。gFDA 即使在少样本情况下也能稳定工作，绕过了 FDA 的小样本量（SSS）问题。接下来，我们证明 gFDA 等价于带一个小修正项的 GDS 投影。该等价性确保 GDS 投影通过 gFDA 继承 FDA 的判别能力。此外，为提升 gFDA 和 GDS 投影的性能，我们对判别空间上投影后的向量进行归一化。使用扩展 Yale B+ 数据库和 CMU 人脸数据库的大量实验表明，gFDA 和 GDS 投影具有与原始 FDA 及其扩展相当或更好的性能。
引用
@article{arxiv.1910.13113,
title = {Discriminant analysis based on projection onto generalized difference subspace},
author = {Kazuhiro Fukui and Naoya Sogi and Takumi Kobayashi and Jing-Hao Xue and Atsuto Maki},
journal= {arXiv preprint arXiv:1910.13113},
year = {2019}
}