间接参数化 Concrete 自编码器

特征选择在数据高维或获取完整特征集成本高昂的场景中是一项关键任务。近期基于神经网络的嵌入式特征选择发展在广泛应用中显示出令人鼓舞的结果。Concrete 自编码器 (Concrete Autoencoders, CAEs) 被视为嵌入式特征选择的最新技术 (SOTA)，但可能难以实现稳定的联合优化，从而损害其训练时间和泛化能力。在本工作中，我们确定这种不稳定性与 CAE 学习重复选择相关。为解决这一问题，我们提出了一种简单有效的改进方案：间接参数化 CAE (Indirectly Parameterized CAEs, IP-CAEs)。IP-CAE 学习一个嵌入及其到 Gumbel-Softmax 分布参数的映射。尽管实现简单，IP-CAE 在多个数据集的重构和分类任务中，相较于 CAE 在泛化能力和训练时间上均表现出显著且一致的改进。与 CAE 不同，IP-CAE 有效利用了非线性关系，且无需重新训练联合优化的解码器。此外，我们的方法原则上可推广到特征选择之外的 Gumbel-Softmax 分布应用。