DeepDRK: 深度依赖正则化 Knockoff 用于特征选择
机器学习
2024-11-11 v2
摘要
Model-X knockoff 因其控制假发现率 (FDR) 的保证而在各种特征选择方法中受到广泛关注。自参数化设计提出以来,knockoff 技术已演变为使用深度学习基于生成模型处理任意数据分布。然而,我们注意到当前深度 Model-X knockoff 框架的实现存在局限性。尤其是,knockoff 所需的“交换属性”在样本层面上常面临挑战,导致选择功效下降。为此,我们发展了“Deep Dependency Regularized Knockoff (DeepDRK)”,一种无分布限制的深度学习方法,有效平衡 FDR 与功效。在 DeepDRK 中,我们将 knockoff 模型的新型表述作为在多源对抗攻击下的学习问题。通过采用创新的扰动技术,我们实现更低的 FDR 和更高的功效。我们的模型在合成、准合成和真实数据集上均优于现有基准,尤其在样本量小且数据分布非高斯时表现尤为突出。
关键词
引用
@article{arxiv.2402.17176,
title = {DeepDRK: Deep Dependency Regularized Knockoff for Feature Selection},
author = {Hongyu Shen and Yici Yan and Zhizhen Zhao},
journal= {arXiv preprint arXiv:2402.17176},
year = {2024}
}
备注
33 pages, 15 figures, 9 tables