中文

面向大样本量向量变量的快速条件独立性检验

机器学习 2018-04-10 v1 人工智能 机器学习 其他统计学

摘要

我们提出并评估了快速(条件)独立性检验(FIT)——一种非参数条件独立性检验。该检验基于如下思想:当P(XY,Z)=P(XY)P(X \mid Y, Z) = P(X \mid Y)时,只要YY也是回归量,ZZ作为预测XX的特征便无用处;反之,若P(XY,Z)P(XY)P(X \mid Y, Z) \neq P(X \mid Y)ZZ可能改善预测结果。FIT适用于千维随机变量与十万样本,所需时间仅为替代方法的一小部分。我们提供了将FIT与六种现有非参数独立性检验比较的广泛评估。评估显示,与其他检验相比,FIT犯第一类与第二类错误的概率均较低,尤其随着可用样本量增长。我们对FIT的实现已公开可用。

关键词

引用

@article{arxiv.1804.02747,
  title  = {Fast Conditional Independence Test for Vector Variables with Large Sample Sizes},
  author = {Krzysztof Chalupka and Pietro Perona and Frederick Eberhardt},
  journal= {arXiv preprint arXiv:1804.02747},
  year   = {2018}
}