通过信息瓶颈进一步理解稀疏滤波
机器学习
2019-10-22 v1 信号处理
机器学习
摘要
在本文中,我们依靠分析方法以及信息瓶颈(IB)研究中已使用的工具,从信息论角度考察特征分布学习(FDL)的形式化。曾有猜想认为FDL算法的行为可表述为关于两个信息论量的优化问题:数据与所学表示之间的互信息,以及所学分布的熵。特别地,提出这样一种表述是为了解释最突出的FDL算法——稀疏滤波(SF)——的成功。然而,该猜想一直未被证明。在这项工作中,我们旨在通过进行类似于IB研究中对深度神经网络所做的实验,为该猜想提供初步的经验支持。具体而言,我们借用使用信息平面来分析SF算法行为并洞察其动态特性的思想。对FDL动态猜想的证实,可为开发信息论工具以评估FDL中学习过程的质量提供坚实基础,并可能扩展到其他无监督学习算法。
引用
@article{arxiv.1910.08964,
title = {Towards Further Understanding of Sparse Filtering via Information Bottleneck},
author = {Fabio Massimo Zennaro and Ke Chen},
journal= {arXiv preprint arXiv:1910.08964},
year = {2019}
}
备注
8 pages, 5 figures