神经网络表示的形成机制
机器学习
2025-02-28 v2 无序系统与神经网络
摘要
理解神经表示将有助于揭开神经网络的黑箱并推动我们对现代人工智能系统的科学理解。然而，复杂、结构化且可迁移的表示如何在现代神经网络中形成仍是一个谜。基于前人的工作，本文提出了规范表示假说 (CRH)，该假说认为一组六个对齐关系普遍支配神经网络大多数隐藏层表示的形成。在 CRH 下，隐层表示 (R)、权重 (W) 和神经元梯度 (G) 在训练期间相互对齐。这一对齐意味着神经网络自然学习紧凑表示，其中神经元和权重对任务不相关的变换保持不变。随后，我们展示了 CRH 被打破会导致 R、W 和 G 之间出现 reciprocal power-law 关系，我们称为多项式对齐假说 (PAH)。我们提出了一个最小假设理论，证明梯度噪声与正则化之间的平衡对于规范表示的出现至关重要。CRH 和 PAH leading to 统一 major key 深度学习现象，包括神经坍缩和神经特征假设，在单个框架中。
引用
@article{arxiv.2410.03006,
title = {Formation of Representations in Neural Networks},
author = {Liu Ziyin and Isaac Chuang and Tomer Galanti and Tomaso Poggio},
journal= {arXiv preprint arXiv:2410.03006},
year = {2025}
}
备注
ICLR 2025 Spotlight