使用稀疏自适应瓶颈质心编码器的特征选择
机器学习
2023-06-12 v2
摘要
我们引入了一种新颖的非线性模型——稀疏自适应瓶颈质心编码器（SABCE），用于确定区分两个或更多类别的特征。该算法旨在分组提取判别性特征，同时在环境空间中重建类质心，并利用瓶颈层中的额外惩罚项来减小类内散度并增大不同类质心间的分离。该模型具有一个与输入层一对一连接的稀疏促进层（SPL）。除主要目标外，我们最小化稀疏层的 范数，从而从输入数据中过滤掉不必要的特征。在训练过程中，我们通过取质心与稀疏层权重的阿达玛积来更新类质心，从而忽略目标中的无关特征。因此，所提方法学习重建类质心的关键分量而非整个质心。该算法应用于多个真实世界数据集，包括高维生物、图像、语音和加速度计传感器数据。我们将我们的方法与不同的前沿特征选择技术进行比较，包括监督 Concrete 自编码器（SCAE）、特征选择网络（FsNet）、随机门（STG）和 LassoNet。我们通过实验表明，SABCE 特征在隔离测试集上常能产生优于其他方法的分类精度，确立了新的 SOTA 结果。
引用
@article{arxiv.2306.04795,
title = {Feature Selection using Sparse Adaptive Bottleneck Centroid-Encoder},
author = {Tomojit Ghosh and Michael Kirby},
journal= {arXiv preprint arXiv:2306.04795},
year = {2023}
}
备注
A novel nonlinear feature selection technique with new state of the art result. 22 pages (including references), 13 figures. The article is in review