基于核方法的快速条件独立性检验及其在因果发现中的应用

基于核的方法的条件独立性（KCI）测试是因果发现任务中常用的强大的非参数方法。尽管其灵活性和统计可靠性，但其平方的计算复杂度限制了其在大数据集上的应用。为此，我们提出了 FastKCI——一种可扩展且可并行的基于核方法的条件独立性检验，灵感来自针对高斯过程的 embarrassingly parallel 推断技术。通过基于条件变量上的高斯混合模型对数据集进行分区，FastKCI 在并行方式中进行局部 KCI 检验，并使用重要加权采样方案聚合结果。在合成数据集和真实世界生产数据上的实验表明，FastKCI 在保持原始 KCI 测试统计功效的同时，实现了显著的计算加速。FastKCI 因此代表了一个在大规模数据上的因果推断中进行条件独立性测试的实用且高效的解决方案。