面向稳健特征选择的因果引导扩散

特征选择是健壮数据驱动 AI 的基本问题，但大多数现有方法在单一数据分布下优化预测性能，往往会选取在分布迁移下失效的虚假特征。受因果不变性原则启发，本文从稳定性角度研究特征选择，提出 Causally-Guided Diffusion for Stable Feature Selection (CGDFS)。在 CGDFS 中，我们将特征选择建模为对特征子集的近似后验推断，其后验质量以低预测误差和低跨环境方差为指标。我们的框架整合了三个关键见解：首先，我们将特征选择形式化为稳定性感知的后验采样，因果不变性作为软归纳偏置而非显式因果发现。其次，我们训练扩散模型作为对合理连续选择掩码的学习化先验，结合稳定性感知似然函数，对跨环境的不变性进行奖励。这一扩散先验捕获特征之间的结构依赖，使我们能够可扩展地探索组合空间庞大的选择空间。最后，我们执行受引导的 annealed Langevin 采样，将扩散先验与稳定性目标相结合，从而获得可处理的、具不确定性感知的后验推断，避免离散优化，产生稳健的特征选择。我们在表现分布迁移的开源真实数据集上评估 CGDFS。在分类和回归任务中，CGDFS 始终选择更稳定、可迁移的特征子集，从而在超出分布性能和特征选择稳健性方面优于稀疏基、树基和稳定性选择基准方法。