通过自信信息优先原理理解 Boltzmann 机与深度学习
神经与进化计算
2013-10-10 v7 机器学习
机器学习
摘要
典型的降维方法侧重于直接减少随机变量的数量，同时保留数据中的最大变异。在本文中，我们考虑二元多元分布参数空间中的降维问题。我们提出了一种通用的自信信息优先 (Confident-Information-First, CIF) 原则，以最大限度地保留具有可靠估计的参数，并排除不可靠或含噪的参数。形式上，参数的置信度可以通过其 Fisher 信息来评估，这通过 Cram\'{e}r-Rao 界建立了与参数任何无偏估计的逆方差之间的联系。随后，我们重新审视 Boltzmann 机 (BM)，并从理论上证明，不含隐藏单元的单层 BM (SBM) 和受限 BM (RBM) 均可利用 CIF 原则稳固地推导出来。这不仅有助于我们揭示并形式化 SBM 和 RBM 所捕获的目标密度的本质部分，还表明由多层 RBM 组成的深度神经网络可被视为 CIF 的逐层应用。在理论分析的指导下，我们为 SBM 开发了一种基于样本的 CIF 对比散度 (CD-CIF) 算法，并为 RBM 开发了一种基于 CIF 的迭代投影 (IP) 过程。CD-CIF 和 IP 均在一系列密度估计实验中进行了研究。
引用
@article{arxiv.1302.3931,
title = {Understanding Boltzmann Machine and Deep Learning via A Confident Information First Principle},
author = {Xiaozhao Zhao and Yuexian Hou and Qian Yu and Dawei Song and Wenjie Li},
journal= {arXiv preprint arXiv:1302.3931},
year = {2013}
}