深度神经网络中朝向 $1/f$ 噪声的自组织
数据分析、统计与概率
2024-04-02 v2 人工智能
适应与自组织系统
摘要
噪声（也称为粉红噪声）的存在是生物神经网络中公认的现象，并被认为在大脑信息处理中发挥重要作用。在本研究中，我们发现这种 噪声也出现在自然语言训练的深度神经网络中，类似于其生物对应物。具体而言，我们在 ‘IMDb’ AI 基准数据集上训练长短期记忆（LSTM）网络，然后测量神经元激活。对不同神经元时间序列的去趋势波动分析（DFA）显示出清晰的 模式，而 LSTM 输入的时间序列中不存在该模式。有趣的是，当神经网络处于过容量状态（拥有远超完成学习任务所需的神经元）时，激活模式偏离 噪声并转向白噪声。这是因为许多神经元未被有效利用，在输入数据时波动很小。我们进一步考察了 LSTM 单元中“内部”和“外部”激活的 噪声指数值，发现其与人类大脑 fMRI 信号中的指数变化有一定相似性。我们的发现进一步支持了 噪声是最优学习特征的假设。随着深度学习模型在特定任务上接近或超越人类，且比生物对应物更“可实验”，我们的研究表明它们是理解 噪声根本起源的良好候选。
引用
@article{arxiv.2301.08530,
title = {Self-Organization Towards $1/f$ Noise in Deep Neural Networks},
author = {Nicholas Chong Jia Le and Ling Feng},
journal= {arXiv preprint arXiv:2301.08530},
year = {2024}
}