一种探索大数据系统：用于开放健康数据离群点检测的迭代 k-means 探照灯

大型且不断演进的数据集的交互式探索具有挑战性，因为底层变量间的关系可能未被完全理解。数据中可能存在值得进一步探索与分析的隐藏趋势与模式。我们提出一个系统，其使用探照灯技术有条理地探索变量的多种组合并识别离群点。迭代 k-means 聚类算法应用于通过数据库文献中使用的 split-apply-combine 范式导出的特征。离群点被识别为单例或小型簇。该算法以探照灯方式扫过数据集。包含离群点的维度通过子集扫描（subset scan）技术与其他维度两两组合，以深入洞察离群点。我们通过分析纽约州发布的开放医疗数据来演示该系统。我们应用迭代 k-means 探照灯随后进行子集扫描。识别出数据中的若干异常趋势，包括特定医院的成本超支以及如自杀等诊断的增加。这些构成了文献中的新发现，并对监管机构、政策制定者及关注此事的公民具有潜在用途。