用于无监督特征提取与选择的Gram-Schmidt方法
机器学习
2025-07-16 v4 信息论
math.IT
摘要
在数据间存在非线性依赖关系情形下的特征提取与选择，是无监督学习中的基本挑战。我们提出在函数空间上采用Gram-Schmidt (GS)型正交化过程来检测并刻画此类依赖关系。具体而言，通过对某函数族施加GS过程，我们构造了一系列协方差矩阵，这些矩阵既可用于识别新的大方差方向，也可用于从已知方向中消除此类依赖。在前一种情形下，我们从信息论角度给出了关于熵减少的保证。在后一种情形下，我们给出了所选函数族消除数据中已有冗余的精确条件。每种方法均提供了一个特征提取与一个特征选择算法。我们的特征提取方法是线性的，可视为主成分分析(PCA)的自然推广。我们在合成与真实世界基准数据集上给出了实验结果，显示出优于最先进（线性）特征提取与选择算法的性能。令人惊讶的是，我们的线性特征提取算法可与若干重要非线性特征提取方法（如自编码器、核PCA与UMAP）相媲美，且常优于它们。此外，我们的一个特征选择算法严格推广了近期一种基于Fourier的特征选择机制（Heidari等人，IEEE Transactions on Information Theory，2022），而复杂度显著降低。
引用
@article{arxiv.2311.09386,
title = {Gram-Schmidt Methods for Unsupervised Feature Extraction and Selection},
author = {Bahram Yaghooti and Netanel Raviv and Bruno Sinopoli},
journal= {arXiv preprint arXiv:2311.09386},
year = {2025}
}
备注
To appear in IEEE Transactions on Information Theory