稀疏网络中的异构连通性：Fan-in 配置、梯度层次及拓扑平衡点

配置化稀疏网络 (PSN) 用由连续非线性函数定义的确定性、异构 fan-in 配置取代均匀连通性，创建既有稠密又有稀疏感受野的神经元。我们在四个跨越视觉和表格领域的分类数据集上对 PSN 进行基准测试，输入维度从 54 到 784，网络深度为 2-3 隐藏层。在 90% 稀疏度下，所有静态配置（包括均匀随机基线）在每个数据集上都能实现密集基线的 0.2-0.6% 精度范围内，证明在枢纽位置随机而非任务对齐时，异构连通性不提供精度优势。这一结果在稀疏度 (80-99.9%)、配置形状（八个参数族、对数正态分布和幂律分布）以及 fan-in 系数变异系数从 0 到 2.5 的范围内都成立。内部梯度分析揭示，结构化配置在枢纽神经元处产生 2-5 倍的梯度浓度，而随机基线约为 1 倍均匀分布，层次强度由 fan-in 系数变异系数 ($r = 0.93$) 预测。当使用 PSN fan-in 分布初始化 RigL 动态稀疏训练时，对数正态配置匹配平衡 fan-in 分布始终优于标准 ERK 初始化，在较难任务上优势更大，分别在 Fashion-MNIST ($p = 0.036$, $d = 1.07$) 上提升 +0.16%，在 EMNIST 上提升 +0.43%，在 Forest Cover 上提升 +0.49%。RigL 在动态稀疏训练中收敛至特征性 fan-in 分布，无论初始化方式如何。从平衡点开始允许优化器更精细地调整权重而非重组拓扑。枢纽神经元的选择比连通性波动程度更重要，即随机枢纽位置不提供优势，而优化驱动的枢纽位置才有优势。