基于门控拉普拉斯的可微无监督特征选择
机器学习
2020-11-10 v3 机器学习
摘要
科学观测可能由大量变量（特征）组成。尽管在无监督学习中识别有意义特征的子集有潜力揭示隐藏在 ambient 空间中的清晰模式，这一点却常被忽视。本文中，我们提出一种无监督特征选择方法，并展示其在聚类任务上的应用。我们提出一个可微损失函数，将倾向于低频特征的拉普拉斯分数与用于特征选择的门控机制相结合。我们改进了拉普拉斯分数，用在其特征子集上计算的门控变体替代它。该子集通过使用 Bernoulli 变量的连续近似获得，其参数被训练以门控整个特征空间。我们从数学上论证了所提方法的动机，并证明在高噪声情形下，在门控输入上而非整个特征集上计算拉普拉斯是至关重要的。我们使用若干真实世界示例提供了所提方法有效性及其相对于当前基线的优势的实验证明。
引用
@article{arxiv.2007.04728,
title = {Differentiable Unsupervised Feature Selection based on a Gated Laplacian},
author = {Ofir Lindenbaum and Uri Shaham and Jonathan Svirsky and Erez Peterfreund and Yuval Kluger},
journal= {arXiv preprint arXiv:2007.04728},
year = {2020}
}