通过最小化可重构性构造强力的 Knockoffs

Model-X knockoffs 使分析人员能够使用几乎任意机器学习算法进行特征选择，同时可证明地控制错误发现的期望比例。应用 model-X knockoffs 必须构造称为 knockoffs 的合成变量，它们在特征选择中有效充当控制变量。构造 knockoffs 的黄金标准是最小化特征与其 knockoffs 之间的平均绝对相关（MAC），但令人惊讶的是，我们证明该过程在极简单的设定下（包括具有相关可交换特征的高斯线性模型）可能无力。关键问题在于最小化 MAC 在特征与 knockoffs 之间创建了强联合依赖，使机器学习算法可利用 knockoffs 部分或完全重构特征对响应的影响。为提升 knockoffs 的效力，我们提出生成最小化特征可重构性（MRC）的 knockoffs，并针对高斯特征展示其计算高效、鲁棒且强力。我们还证明某些 MRC knockoffs 在高斯线性模型中最小化估计误差的自然定义。此外，在大量模拟中，我们发现许多具有相关特征的设定下 MRC knockoffs 大幅优于 MAC 最小化 knockoffs，且没有任何设定下 MAC 最小化 knockoffs 以超过极微小优势优于 MRC knockoffs。我们在新的开源 python 包 knockpy 中实现了我们的方法以及 knockoffs 文献中的许多其他方法。