揭示稀疏神经网络在特征选择中的能力
机器学习
2024-08-09 v1 人工智能
摘要
稀疏神经网络 (SNNs) 已成为高效特征选择的强大工具。利用 SNNs 中的动态稀疏训练 (DST) 算法已展现出有前景的特征选择能力，同时大幅降低了计算开销。尽管取得了这些进展，但在特征选择方面，仍有几个关键方面尚未得到充分探索。关于网络训练的 DST 算法选择、用于对特征/神经元进行排序的度量标准选择，以及与密集网络相比这些方法在不同数据集上的比较性能，这些问题仍然存在。本文通过对稀疏神经网络特征选择进行全面系统的分析来填补这些空白。此外，我们引入了一种考虑稀疏神经网络特性的新颖度量，旨在量化 SNNs 背景下的特征重要性。我们的研究结果表明，与密集网络相比，使用 DST 算法训练的 SNNs 进行特征选择平均可以减少超过 的内存和 的 FLOPs，同时在所选特征的质量方面优于它们。我们的代码和补充材料可在 GitHub 上获取 (\url{https://github.com/zahraatashgahi/Neuron-Attribution})。
引用
@article{arxiv.2408.04583,
title = {Unveiling the Power of Sparse Neural Networks for Feature Selection},
author = {Zahra Atashgahi and Tennison Liu and Mykola Pechenizkiy and Raymond Veldhuis and Decebal Constantin Mocanu and Mihaela van der Schaar},
journal= {arXiv preprint arXiv:2408.04583},
year = {2024}
}