互信息最大化的学习曲线
无序系统与神经网络
2009-11-10 v1
摘要
分析了基于最大化两个接收 statistically dependent 输入的网络输出之间相互信息的无监督学习程序 (Becker 和 Hinton, Nature, 355, 92, 161)。对于通用数据模型，证明在大样本极限下，相互信息最大化能够识别数据中的结构。对于更受限制的模型，其中网络类似于感知器，我计算了零温 Gibbs 学习的学习曲线。这些曲线表明收敛可能较慢，并考虑了一种正则化该程序的方法。
引用
@article{arxiv.cond-mat/0305254,
title = {Learning Curves for Mutual Information Maximization},
author = {Robert Urbanczik},
journal= {arXiv preprint arXiv:cond-mat/0305254},
year = {2009}
}
备注
13 pages, to appear in Phys.Rev. E