优化核熵成分
机器学习
2016-03-10 v1 机器学习
摘要
本工作解决了标准核熵成分分析（KECA）算法的两个主要问题：核分解的优化与高斯核参数的优化。KECA 大致可归结为按熵而非像核主成分分析那样按方差对核特征向量的重要性进行排序。在本工作中，我们提出一种 KECA 方法的扩展，称为优化 KECA（OKECA），它通过把信息压缩到极少的特征（通常仅一个或两个）中，直接提取保留大部分数据熵的最优特征。所提方法产生的特征具有更高的表达能力。特别地，它基于独立成分分析（ICA）框架，并引入了对特征分解的额外旋转，该旋转通过梯度上升搜索进行优化。这种最大熵保持表明，OKECA 特征在密度估计中比 KECA 特征更高效。此外，两种方法中的一个关键问题是核参数的选择，因为它严重影响最终性能。此处我们分析了最常见的核长度尺度选择准则。两种方法的结果在不同合成与真实问题中得以展示。结果表明：1）OKECA 返回的投影比 KECA 具有更强的表达能力；2）估计核参数最成功的准则基于最大似然；3）在核密度估计中，OKECA 对长度尺度参数的选择更为鲁棒。
引用
@article{arxiv.1603.02806,
title = {Optimized Kernel Entropy Components},
author = {Emma Izquierdo-Verdiguier and Valero Laparra and Robert Jenssen and Luis Gómez-Chova and Gustau Camps-Valls},
journal= {arXiv preprint arXiv:1603.02806},
year = {2016}
}
备注
IEEE Transactions on Neural Networks and Learning Systems, 2016