稀疏质心编码器：一种用于特征选择的非线性模型
机器学习
2022-06-30 v2 计算机视觉与模式识别
摘要
自编码器已广泛用作数据降维的非线性工具。虽然自编码器不利用标签信息，但质心编码器（CE）\cite{ghosh2022supervised} 在其学习过程中使用类标签。在本研究中，我们提出使用质心编码器架构进行稀疏优化，以确定区分两类或多类的最小特征集。所得算法稀疏质心编码器（SCE）利用诱导稀疏性的 -范数在将一点映射到其类质心的同时分组提取判别性特征。SCE 的一个关键特性是它可以从多模态数据集中提取信息性特征，即其类别呈现多个簇的数据集。该算法应用于多种真实世界数据集，包括单细胞数据、高维生物数据、图像数据、语音数据和加速度计传感器数据。我们将我们的方法与各种最先进的特征选择技术进行比较，包括监督 Concrete 自编码器（SCAE）、特征选择网络（FsNet）、深度特征选择（DFS）、随机门（STG）和 LassoNet。我们凭经验表明，SCE 特征在隔离测试集上常产生优于其他方法的分类准确率。
引用
@article{arxiv.2201.12910,
title = {Sparse Centroid-Encoder: A Nonlinear Model for Feature Selection},
author = {Tomojit Ghosh and Michael Kirby},
journal= {arXiv preprint arXiv:2201.12910},
year = {2022}
}
备注
13 pages,56 figures, 5 tables. Used 12 data sets and 5 state-of-the-art models for comparison