二次互信息导数的直接估计及其在有监督降维中的应用
机器学习
2015-08-06 v1
摘要
有监督降维的一个典型目标是找到输入空间中的一个低维子空间，使得投影后的输入变量关于输出变量保留最大信息。依赖最大化方法通过最大化投影输入变量与输出变量之间的统计依赖性来解决有监督降维问题。一个著名的统计依赖性度量是基于 Kullback-Leibler (KL) 散度的互信息 (MI)。然而，已知 KL 散度对离群值敏感。另一方面，二次互信息 (QMI) 是基于 距离的一种 MI 变体，比 KL 散度对离群值更鲁棒，并且最近提出了一种从数据估计 QMI 的计算高效方法，称为最小二乘 QMI (LSQMI)。由于这些原因，开发基于 LSQMI 的有监督降维方法似乎很有前景。然而，在有监督降维的子空间搜索中需要的不是 QMI 本身，而是 QMI 的导数，而准确的 QMI 估计器的导数未必是 QMI 导数的良好估计器。本文中，我们提出直接估计 QMI 的导数而不估计 QMI 本身。我们表明 QMI 导数的直接估计比估计的 QMI 的导数更准确。最后，我们开发了一种有效利用所提导数估计器的有监督降维算法，并通过实验证明该方法比现有方法对离群值更鲁棒。
引用
@article{arxiv.1508.01019,
title = {Direct Estimation of the Derivative of Quadratic Mutual Information with Application in Supervised Dimension Reduction},
author = {Voot Tangkaratt and Hiroaki Sasaki and Masashi Sugiyama},
journal= {arXiv preprint arXiv:1508.01019},
year = {2015}
}