使用MapReduce的高维数据集特征选择
分布式、并行与集群计算
2017-09-08 v1 机器学习
机器学习
摘要
本文描述了最小冗余最大相关（minimum Redundancy Maximum Relevance）算法的分布式MapReduce实现，该算法是生物信息学与网络推断问题中一种流行的特征选择方法。所提出的方法同时处理高瘦型（tall/narrow）与宽矮型（wide/short）数据集。我们进一步提供了基于Hadoop/Spark的开源实现，并展示了其在包含数百万观测或特征的数据集上的可扩展性。
引用
@article{arxiv.1709.02327,
title = {Feature selection in high-dimensional dataset using MapReduce},
author = {Claudio Reggiani and Yann-Aël Le Borgne and Gianluca Bontempi},
journal= {arXiv preprint arXiv:1709.02327},
year = {2017}
}