任务复杂度塑造神经网络的内部表示与鲁棒性
机器学习
2026-05-12 v2 人工智能
物理与社会
摘要
神经网络在广泛任务中表现卓越，但仍是黑盒。具体而言，其内部表示如何受输入数据复杂度及所求解问题的影响仍不清晰。在本工作中，我们引入一组与数据无关的探针——剪枝、二值化、噪声注入、符号翻转和二分网络随机化——以量化任务难度如何影响多层感知机中表示的拓扑结构与鲁棒性。从网络科学视角，MLP 被表示为带符号的加权二分图。我们在 MNIST 和 Fashion-MNIST 数据集上对比了简单与困难的分类任务。我们表明，在困难任务模型中对权重进行二值化会使准确率坍缩至随机水平，而简单任务模型则保持鲁棒。我们还发现，对二值化的困难任务模型剪枝低幅度边会揭示性能的尖锐相变现象。此外，适度的噪声注入可提升准确率，类似于与小幅度权重最优符号翻转相关的随机共振效应。最后，通过二分网络随机化，仅保留符号结构而非精确权重幅度即足以维持高准确率。这些现象定义了一种与模型和模态无关的任务复杂度度量：全精度与二值化或打乱神经网络性能之间的差距。我们的发现突出了带符号二分拓扑在学习表示中的关键作用，并提出了与任务复杂度相匹配的模型压缩和可解释性实用策略。
引用
@article{arxiv.2508.05463,
title = {Task complexity shapes internal representations and robustness in neural networks},
author = {Robert Jankowski and Filippo Radicchi and M. Ángeles Serrano and Marián Boguñá and Santo Fortunato},
journal= {arXiv preprint arXiv:2508.05463},
year = {2026}
}