ReliefE：基于流形嵌入的高维空间特征排序
机器学习
2021-01-26 v1 机器学习
摘要
特征排序已广泛应用于高通量生物学与社会科学等机器学习任务中。流行的Relief系列算法通过迭代考量最近的相关与无关实例来赋予特征重要性。尽管其实用性高，这些算法计算开销大，且不太适用于高维稀疏输入空间。相比之下，近期基于嵌入的方法学习紧凑的低维表示，可能提升常规学习器的下游学习能力。本文探讨如何改造Relief分支算法以受益于实例与目标空间的（黎曼）流形嵌入，其中给定嵌入的维度固有于所考量数据集的维度。所开发的ReliefE算法更快且能产生更好的特征排序，我们在20个用于多类与多标签分类任务的真实数据集上的评估证实了这一点。ReliefE对高维数据集的适用性由其利用稀疏矩阵代数运算的实现所保障。最后，借助模糊Jaccard指数研究了ReliefE与其他排序算法的关联。
引用
@article{arxiv.2101.09577,
title = {ReliefE: Feature Ranking in High-dimensional Spaces via Manifold Embeddings},
author = {Blaž Škrlj and Sašo Džeroski and Nada Lavrač and Matej Petković},
journal= {arXiv preprint arXiv:2101.09577},
year = {2021}
}