高维在线独立成分分析中学习率应随高阶数据矩反比缩放

我们研究了在高维数据模型下在线独立成分分析（ICA）算法的学习动态，该模型由两个非高斯随机变量的加权和组成。该模型允许通过加权参数精确控制输入矩结构。基于高维极限下现有的常微分方程（ODE）分析，我们证明随着高阶矩的增加，算法表现出更慢的收敛速度，并且需要更低的学习率和更大的初始对齐才能获得信息性解。我们的发现揭示了算法对输入数据统计结构——特别是其矩特征——的敏感性。此外，ODE框架揭示了当矩接近其最大值时学习所需的临界学习率阈值。这些见解为未来的矩感知初始化和自适应学习率策略提供了动力，以对抗由高非高斯性引起的学习速度退化，从而在复杂、高维环境中增强ICA的鲁棒性和效率。