深度神经网络中的涌现权重形态
机器学习
2025-04-11 v2 无序系统与神经网络
摘要
深度神经网络是否能够表现出涌现行为，不仅对于理解深度学习的工作原理至关重要，而且对于评估日益强大的人工智能系统的潜在安全风险也至关重要。在这里，我们展示了训练深度神经网络会产生与训练数据无关的涌现权重形态。具体来说，类比于凝聚态物理，我们推导了一个理论，预测深度神经网络的均匀状态是不稳定的，从而导致周期性通道结构的涌现。我们通过在多种数据集上进行数值实验验证了这些结构。我们的工作证明了深度神经网络训练中的涌现现象，这影响了深度神经网络的可实现性能。
引用
@article{arxiv.2501.05550,
title = {Emergent weight morphologies in deep neural networks},
author = {Pascal de Jong and Felix Meigel and Steffen Rulands},
journal= {arXiv preprint arXiv:2501.05550},
year = {2025}
}