通过蒸馏实现快速且强大的条件随机化检验
统计方法学
2021-06-07 v4
摘要
我们考虑条件独立性检验问题:给定响应 Y 和协变量 (X,Z),我们检验 Y 在给定 Z 时独立于 X 的零假设。条件随机化检验(CRT)最近被提出,作为利用关于 X|Z 的分布信息,以任何检验统计量、在任何维度下精确(非渐近)控制第一类错误的方法,且不对 Y|(X,Z) 作任何假设。这种灵活性原则上允许人们从复杂预测算法导出强大的检验统计量,同时保持统计有效性。然而,由于在重采样数据上多次重新计算检验统计量的要求,在 CRT 中直接使用此类高级检验统计量在计算上昂贵得令人望而却步,尤其在多重检验时。我们提出蒸馏 CRT,一种在 CRT 中使用最先进机器学习算法的新方法,同时大幅减少这些算法需要运行的次数,从而利用其威力和 CRT 的统计保证,而不承受通常的计算开销。除蒸馏外,我们还提出若干其他技巧,如筛选和回收计算,以进一步加速 CRT 而不牺牲其高功效和精确有效性。事实上,我们在模拟中表明,我们所有提案结合起来产生了一个与最强大的现有 CRT 实现具有相似功效但所需计算量少几个数量级的检验,使其成为即便对于大型数据集也实用的工具。我们在乳腺癌数据集上通过识别与癌症分期相关的生物标志物展示了这些益处。
引用
@article{arxiv.2006.03980,
title = {Fast and Powerful Conditional Randomization Testing via Distillation},
author = {Molei Liu and Eugene Katsevich and Lucas Janson and Aaditya Ramdas},
journal= {arXiv preprint arXiv:2006.03980},
year = {2021}
}
备注
This paper has been merged with a parallel work arXiv:2006.08482 by Eugene Katsevich and Aaditya Ramdas