中文

DeepDRK: 深度依赖正则化 Knockoff 用于特征选择

机器学习 2024-11-11 v2

摘要

Model-X knockoff 因其控制假发现率 (FDR) 的保证而在各种特征选择方法中受到广泛关注。自参数化设计提出以来,knockoff 技术已演变为使用深度学习基于生成模型处理任意数据分布。然而,我们注意到当前深度 Model-X knockoff 框架的实现存在局限性。尤其是,knockoff 所需的“交换属性”在样本层面上常面临挑战,导致选择功效下降。为此,我们发展了“Deep Dependency Regularized Knockoff (DeepDRK)”,一种无分布限制的深度学习方法,有效平衡 FDR 与功效。在 DeepDRK 中,我们将 knockoff 模型的新型表述作为在多源对抗攻击下的学习问题。通过采用创新的扰动技术,我们实现更低的 FDR 和更高的功效。我们的模型在合成、准合成和真实数据集上均优于现有基准,尤其在样本量小且数据分布非高斯时表现尤为突出。

关键词

引用

@article{arxiv.2402.17176,
  title  = {DeepDRK: Deep Dependency Regularized Knockoff for Feature Selection},
  author = {Hongyu Shen and Yici Yan and Zhizhen Zhao},
  journal= {arXiv preprint arXiv:2402.17176},
  year   = {2024}
}

备注

33 pages, 15 figures, 9 tables