通过自回归生成的神经符号嵌入以实现短而有效的特征选择

特征选择旨在识别最佳特征子集以增强下游模型。有效的特征选择可以去除冗余特征，节省计算资源，加速模型学习过程，并提高模型整体性能。然而，现有工作通常需要耗费大量时间才能在高维特征空间中识别出有效的特征子集。同时，这些方法主要利用单一下游任务性能作为选择标准，导致所选子集不仅冗余而且缺乏泛化能力。为了弥补这些差距，我们通过神经符号视角重新定义特征选择，并引入了一种新的生成框架，旨在识别短而有效的特征子集。更具体地说，我们发现所选子集的特征 ID 标记可以表述为符号，以反映特征之间的复杂相关性。因此，在该框架中，我们首先创建一个数据收集器，自动收集由特征 ID 标记、模型性能和特征子集冗余度测量组成的特征选择样本。基于收集的数据，开发了一种编码器-解码器-评估器学习范式，将特征选择的智能保留在连续嵌入空间中以进行高效搜索。在学习到的嵌入空间内，我们利用多梯度搜索算法来寻找更稳健和泛化的嵌入，目标是提高模型性能并减少特征子集冗余。然后利用这些嵌入来重构特征 ID 标记，以执行最终的特征选择。最终，进行了全面的实验和案例研究，以验证所提出框架的有效性。