基于降维的分类器集成

我们提出了一种基于降维构建集成分类器的新方法。降维方法使用少量属性表示数据集，同时保留原始数据集所传达的信息。集成成员基于训练集的降维版本进行训练。这些版本是通过使用不同的输入参数值对原始训练集应用降维获得的。这种构造满足了构建集成分类器所需的多样性和准确性标准，前者通过各种输入参数值获得，后者则得益于降维的去相关和噪声抑制特性。为了分类测试样本，首先使用样本外扩展算法将其嵌入到每个独立分类器的降维空间中。然后将每个分类器应用于嵌入样本，并通过投票方案获得分类结果。我们提出了基于随机投影（Random Projections）、扩散映射（Diffusion Maps）和随机子空间（Random Subspaces）降维算法的三种变体。我们还提出了一种结合 AdaBoost 和扩散映射的多策略集成。我们将该方法与 Bagging、AdaBoost、Rotation Forest 集成分类器以及未结合降维的基分类器进行了比较。我们的实验使用了来自 UCI 存储库的十七个基准数据集。所得结果表明，所提出的算法在许多情况下优于其他算法。