聚类、多重共线性与奇异向量

设 $A$ 为一个矩阵，其伪逆为 $A^{\dagger}$，并令 $S=I-A^{\dagger}A$。我们证明，在对 $A$ 的列重新排序后，矩阵 $S$ 具有块对角形式，其中每个块对应于一组线性相关的列。这使我们能够识别 $A$ 中的冗余列。我们探讨了在监督学习与无监督学习中的一些应用，特别是特征选择、聚类以及最小二乘解解的敏感性。