通过可扩展谱神经网络方法估计全局输入相关性并强制稀疏表示
机器学习
2025-11-24 v3 无序系统与神经网络
统计力学
人工智能
摘要
在机器学习实践中，识别相关输入特征通常很有用。根据各自的相关程度对关键输入元素进行排序，有助于详细阐述决策过程。在此，我们提出了一种新方法来估计深度神经网络输入组件的相对重要性。这是通过利用优化过程的谱重参数化来实现的。与输入节点相关的特征值实际上提供了一个稳健的代理来评估所提供输入特征的相关性。值得注意的是，谱特征排序是自动进行的，作为网络训练的副产品，无需进行额外处理。此外，通过利用特征值的正则化，可以强制使用最小输入组件子集的解，从而增加模型的可解释性并提供稀疏输入表示。该技术与文献中最常见的方法进行了比较，并在合成数据和真实数据上成功进行了挑战。
引用
@article{arxiv.2406.01183,
title = {Estimating Global Input Relevance and Enforcing Sparse Representations with a Scalable Spectral Neural Network Approach},
author = {Lorenzo Chicchi and Lorenzo Buffoni and Diego Febbe and Lorenzo Giambagli and Raffaele Marino and Duccio Fanelli},
journal= {arXiv preprint arXiv:2406.01183},
year = {2025}
}