GO-LDA：广义最优线性判别分析
计算机视觉与模式识别
2023-05-25 v1 数值分析
数值分析
摘要
线性判别分析（LDA）在模式识别与数据分析的研究和实践中一直是一种有用的工具。虽然类边界的线性并非总能预期，但通过预训练深度神经网络进行的非线性投影已将复杂数据映射到特征空间，其中线性判别表现良好。二分类 LDA 的解通过对类内散度矩阵和类间散度矩阵的特征值分析获得。众所周知，多类 LDA 通过二分类 LDA 的扩展即广义特征值问题来求解，从中可提取的最大子空间维数比给定问题中的类别数少一。在本文中，我们表明，除了第一个判别方向外，多类 LDA 的广义特征分析解既未产生正交的判别方向，也未沿这些方向最大化投影数据的判别性。令人惊讶的是，据我们所知，数十年的 LDA 文献中均未注意到这一点。为克服这一缺陷，我们给出了一个具有严格理论支持的推导，用于依次获取与先前计算方向正交且在每一步最大化 Fisher 准则的判别方向。我们展示了沿这些轴的投影分布，并证明投影到这些判别方向上的数据具有最优分离度，其分离度远高于多类 LDA 的广义特征向量所得。利用广泛的基准任务，我们给出了全面的实证演示：在若干模式识别与分类问题上，所提方法（称为 GO-LDA，即广义最优 LDA）获得的最优判别子空间可提供更优的准确率。
引用
@article{arxiv.2305.14568,
title = {GO-LDA: Generalised Optimal Linear Discriminant Analysis},
author = {Jiahui Liu and Xiaohao Cai and Mahesan Niranjan},
journal= {arXiv preprint arXiv:2305.14568},
year = {2023}
}