协方差矩阵与 Hessian 矩阵的协同特征分析以增强二分类性能

文献中已分别分析了用于分类问题的协方差矩阵和 Hessian 矩阵。然而，整合这些矩阵有潜力增强它们在提高分类性能方面的综合力量。我们提出了一种新颖的方法，将训练集上评估的协方差矩阵的特征分析与深度学习模型上评估的 Hessian 矩阵相结合，以实现二分类任务中的最佳类可分性。我们的方法得到了形式化证明的支持，确立了其最大化类间均值距离（\textit{分离性}概念）和最小化类内方差（\textit{紧凑性}概念）的能力，这两者共同定义了线性判别分析（LDA）的两个准则，特别是在类均值周围各向同性和主导主导特征值等理想数据条件下。通过将数据投影到来自两个矩阵的最相关特征方向的组合空间中，我们根据这些 LDA 准则实现了最佳类可分性。跨神经和健康数据集的经验验证一致支持我们的理论框架，并表明我们的方法优于既定方法。我们的方法脱颖而出，因为它同时解决了分离性和紧凑性准则，而 PCA 和 Hessian 方法主要分别强调其中一个准则。这种综合方法捕捉了复杂的模式和关系，从而增强了分类性能。此外，通过利用两个 LDA 准则，我们的方法利用高维特征空间超越了 LDA 本身，符合 Cover 定理，该定理有利于高维中的线性可分性。此外，我们的方法揭示了复杂 DNN 决策机制，使其在 2D 空间中可被理解。