因果模型预测性能评估中的样本选择偏差
机器学习
2021-10-27 v2 机器学习
应用统计
摘要
因果模型因对混杂因素做出不可检验的假设而 notoriously 难以验证。新的科学实验提供了利用预测性能评估因果模型的可能性。预测性能度量通常对因果假设的违背具有稳健性。然而,预测性能确实依赖于训练集与测试集的选择。有偏的训练集会导致对模型性能的乐观评估。在这项工作中,我们重新审视了近期提出的若干因果模型在 Kemmeren 基因扰动数据集上的预测性能。我们发现样本选择偏差很可能是模型性能的关键驱动因素。我们提议使用偏差较小的评估集来评估预测性能,并在这个新集合上比较各模型。在此设定下,因果模型的性能与基于标准关联的估计量(如 Lasso)相似或更差。最后,我们在重现 Kemmeren 基因敲除实验结构但无任何样本选择偏差的模拟研究中比较了因果估计量的性能。这些结果增进了对若干因果模型性能的理解,并为未来研究如何使用 Kemmeren 数据提供了指导。
引用
@article{arxiv.2106.01921,
title = {Sample Selection Bias in Evaluation of Prediction Performance of Causal Models},
author = {James P. Long and Min Jin Ha},
journal= {arXiv preprint arXiv:2106.01921},
year = {2021}
}
备注
12 pages, 4 figures, 2 tables