一种面向高维数据无监督特征选择的信息论方法
信息论
2021-09-15 v1 机器学习
math.IT
摘要
在本文中，我们提出一种信息论方法来设计函数表示，以提取一组随机变量所共享的隐藏公共结构。主要思想是通过 Watanabe 总相关来度量随机变量之间的公共信息，然后寻找这些随机变量的隐藏属性，使得给定这些属性后公共信息减少最多。我们表明这些属性可由某个成对联合分布矩阵的特征分解所指定的指数族刻画。接着，我们采用对数似然函数来估计这些属性，作为随机变量的所需函数表示，并表明此类表示对描述公共结构具有信息性。此外，我们设计了多元交替条件期望（MACE）算法以计算离散数据的所提函数表示，以及一种用于连续或高维数据的新型神经网络训练方法。进一步，我们表明我们的方法与现有技术（如 Hirschfeld-Gebelein-Rényi (HGR) 最大相关、线性主成分分析（PCA）和一致函数映射）有深刻联系，这在信息论与机器学习之间建立了富有洞见的关联。最后，我们算法的性能通过数值仿真得到验证。
引用
@article{arxiv.1910.03196,
title = {An Information-theoretic Approach to Unsupervised Feature Selection for High-Dimensional Data},
author = {Shao-Lun Huang and Xiangxiang Xu and Lizhong Zheng},
journal= {arXiv preprint arXiv:1910.03196},
year = {2021}
}
备注
35 pages; Submitted to IEEE Journal on Selected Areas in Information Theory (JSAIT)