对 Reshef 等人发表于 2011 年 12 月 16 日《Science》的“在大数据集中检测新颖关联”一文的评论
统计方法学
2014-01-30 v1
摘要
Reshef 等人 (2011) 提出的方案是探索性数据挖掘中发现成对测量值之间非线性依赖关系的一种有趣的新方法。然而，它存在一个潜在的严重缺陷。作者赞扬 MIC 不对某些备择假设优于其他备择假设抱有偏好，但正如作者所知，统计学中没有免费的午餐：试图对所有备择假设都具有高检验功效的检验，在许多重要情境下可能具有低功效。为了调查这一点，我们运行了模拟，将 MIC 的功效与标准 Pearson 相关系数和距离相关系数 (dcor) 的功效进行了比较。我们模拟了具有不同关系（其中大部分被 Reshef 等人考虑过）的变量对，但添加了不同水平的噪声。为了确定检验独立性假设的适当截断值，我们模拟了具有适当边缘分布的独立数据。如图所示，除某种病态的高频正弦波情况外，MIC 在所有情况下的功效均低于 dcor。MIC 有时也比 Pearson 相关系数的功效低，线性情况尤其令人担忧。
引用
@article{arxiv.1401.7645,
title = {Comment on "Detecting Novel Associations In Large Data Sets" by Reshef Et Al, Science Dec 16, 2011},
author = {Noah Simon and Robert Tibshirani},
journal= {arXiv preprint arXiv:1401.7645},
year = {2014}
}
备注
3 pages, 1 figure