一种基于扰动理论的特征选择方法

考虑一个监督数据集 $D=[A\mid \textbf{b}]$,其中 $\textbf{b}$ 为结果列,$D$ 的行对应观测值,$A$ 的列对应数据集的特征。机器学习与模式识别中的一个核心问题是从 $D$ 中选择最重要的特征以预测结果。本文提出一种新的特征选择方法,利用扰动理论检测特征间的相关性。我们通过最小二乘法与 $A$ 的奇异值分解求解 $AX=\textbf{b}$。在实际应用中,例如生物信息学中,$A$ 的行数(观测值)远小于 $A$ 的列数(特征)。因此我们处理的是具有大条件数的奇异矩阵。尽管已知奇异情况下最小二乘问题的解对 $A$ 中的扰动非常敏感,本文的新颖之处在于证明通过对 $A$ 施加扰动可检测特征间的相关性。通过与文献中常规及新颖的特征选择方法进行一系列比较,验证了本方法的有效性。结果表明,在大多数情况下,本方法所选特征数量显著更少,同时达到或超过其他方法的精度。