Knoop：基于超参数化提升的Knockoff变量选择方法
机器学习
2025-01-31 v1 人工智能
机器学习
摘要
变量选择在提高不同领域建模效果方面发挥着关键作用，旨在解决高维相关变量数据集所面临的挑战。本工作引入一种新方法，即带超参数化的Knockoff（Knoop），以增强Knockoff过滤器用于变量选择。具体而言，Knoop首先为每个原始变量生成多个knockoff变量，并将其与原始变量整合到超参数化Ridgeless回归模型中。对于每个原始变量，Knoop评估其knockoffs的系数分布，并将其与原始系数进行比较，以进行基于异常值的显著性检验，确保鲁棒的变量选择。广泛的实验表明，与现有方法相比，在模拟和真实数据集上均表现出优异性能。Knoop通过受控模拟实现了在识别相关变量方面对ROC曲线下面积（AUC）显著提高，同时在多样化的回归和分类任务中展示了增强的预测精度。进一步的分析结果进一步支持了我们的观察。
引用
@article{arxiv.2501.17889,
title = {Knoop: Practical Enhancement of Knockoff with Over-Parameterization for Variable Selection},
author = {Xiaochen Zhang and Yunfeng Cai and Haoyi Xiong},
journal= {arXiv preprint arXiv:2501.17889},
year = {2025}
}
备注
An earlier version of our paper at Machine Learning