用于玻尔兹曼机参数约简与模型选择的置信信息优先原理
机器学习
2015-02-06 v1 机器学习
摘要
典型的降维(DR)方法通常面向数据，侧重于直接减少随机变量（特征）的数量，同时保留高维数据中的最大方差。在无监督情形下，这些方法的主要局限之一在于它们对数据特征尺度的依赖性。本文旨在从新视角解决该问题，考虑二元多元分布参数空间中面向模型的降维。具体地，我们提出一个称为置信信息优先(Confident-Information-First, CIF)的通用参数约简准则，以最大程度保留置信参数并排除置信度较低的参数。形式上，每个参数的置信度可通过其对底层真实分布邻域上几何流形内期望Fisher信息距离的贡献来评估。随后我们从模型选择角度重新审视玻尔兹曼机(BM)，并从理论上证明全可见BM(VBM)和带隐单元的BM均可利用CIF原理从通用二元多元分布导出。这有助于我们揭示并形式化BM旨在捕获的目标密度的本质部分以及BM应丢弃的非本质部分。在理论分析指导下，我们开发了适用于BM模型选择的样本特定CIF，其自适应于观测样本。该方法在一系列密度估计实验中被研究，并已在估计精度方面显示出有效性。
引用
@article{arxiv.1502.01705,
title = {A Confident Information First Principle for Parametric Reduction and Model Selection of Boltzmann Machines},
author = {Xiaozhao Zhao and Yuexian Hou and Dawei Song and Wenjie Li},
journal= {arXiv preprint arXiv:1502.01705},
year = {2015}
}
备注
16pages. arXiv admin note: substantial text overlap with arXiv:1302.3931