一种用于数据 carving 精确选择后推断的参数化分布
统计方法学
2023-05-23 v1 机器学习
机器学习
摘要
选择后推断（PoSI）是一种统计技术，用于在假设生成与检验使用同一数据源时获得有效的置信区间和 p 值。PoSI 可用于一系列流行算法，包括 Lasso。数据 carving 是 PoSI 的一种变体，在推断时将一部分留出数据与假设生成数据相结合。尽管数据 carving 具有吸引人的理论和经验性质，现有方法依赖计算昂贵的 MCMC 方法来执行推断。本文的关键贡献在于表明可基于已知参数化分布为数据 carving 过程构造枢轴量。具体而言，当选择事件由高斯响应上的一组多面体约束刻画时，数据 carving 将服从正态与截断正态之和（SNTN），这是截断二元正态分布的一种变体。这一见解的主要影响是，对数据 carving 进行精确推断在计算上可变得微不足道，因为 SNTN 分布的 CDF 可利用标准二元正态的 CDF 求得。我们发布了 python 包 sntn，以进一步促进结合 PoSI 的数据 carving 的采用。
引用
@article{arxiv.2305.12581,
title = {A parametric distribution for exact post-selection inference with data carving},
author = {Erik Drysdale},
journal= {arXiv preprint arXiv:2305.12581},
year = {2023}
}