基于迭代 MapReduce 框架的分布式形式概念分析算法
分布式、并行与集群计算
2012-10-10 v1
摘要
尽管许多现有的形式概念分析算法效率很高，但它们通常不适合分布式实现。受 MapReduce (MR) 框架启发，我们提出了一种执行形式概念挖掘的分布式方法。本方法的创新之处在于使用了一种名为 Twister 的轻量级 MapReduce 运行时，它比最近的分布式方法更适合迭代算法。首先，我们描述了支撑我们分布式形式概念分析方法的理论基础。其次，我们提供了一个代表性范例，展示如何使用我们的方法以分布式方式实现经典的集中式算法：通过引入一系列 MR* 算法（即 MRGanter 和 MRGanter+，其中前缀表示算法的谱系），我们改进了 Ganter 的经典算法。为了评估影响分布式算法性能的因素，我们将 MR* 算法与最先进技术 (state-of-the-art) 进行了比较。在真实数据集上进行的实验表明，MRGanter+ 高效、可扩展，是解决分布式问题的理想算法。
引用
@article{arxiv.1210.2401,
title = {Distributed Formal Concept Analysis Algorithms Based on an Iterative MapReduce Framework},
author = {Biao Xu and Ruairí de Fréin and Eric Robson and Mícheál Ó Foghlú},
journal= {arXiv preprint arXiv:1210.2401},
year = {2012}
}
备注
17 pages, ICFCA 201, Formal Concept Analysis 2012