独立成分分析在线学习中的随机捕获：可解模型分析
无序系统与神经网络
2007-05-23 v1
摘要
以往对在线独立成分分析（ICA）学习规则的解析研究聚焦于渐近稳定性与效率。然而在实际应用中，学习的暂态阶段往往更关键地决定算法的成功。本文通过分析一种 Hebbian ICA 算法来说明这一点，该算法可在由多个独立源信号线性混合构成的数据中找到少数非高斯成分。我们考虑一个理想化数据模型，其中源信号包含若干非高斯源和高斯源，并在高斯源数目无限的极限下求解动力学方程。通过在最优固定点附近展开，确认了以往的稳定性结果，并获得闭式解。然而，结果显示随机效应会稳定那些本不可稳定的亚最优固定点。对于单个非高斯成分的情况，本文得到使该固定点失稳所需的条件，表明成功逃离所需的初始学习率 \eta 极低（\eta = O(N^{-2})，其中 N 为数据维数），这通常需要 O(N^3) 次迭代才能实现较慢的学习过程。仿真结果证实了这一图景在有限系统中同样适用。
关键词
引用
@article{arxiv.cond-mat/0105057,
title = {Stochastic trapping in a solvable model of on-line independent component analysis},
author = {Magnus Rattray},
journal= {arXiv preprint arXiv:cond-mat/0105057},
year = {2007}
}
备注
17 pages, 3 figures. To appear in Neural Computation