从潜在空间到训练数据：最小多层感知器中的可解释化专业化

我们研究是否存在训练偏置可使最小型单隐层 MLP 中的隐藏神经元专化，从而改善基于所学权重对训练数据集的原型级重建。我们考虑宽度等同于数据集大小的高斯激活 MLP，并比较三种结构损失：分别鼓励覆盖训练样本、神经元诱导原型之间的分离、以及隐藏响应的低重叠；与标准拟合基线进行比较。对均匀抽样的一维数据集进行实验，显示 N 从 3 到 100 在 480 次受控运行中均呈现稳定模式。覆盖正则化在各测试规模下均实现最低的平均重构误差，并相对于标准基线提升原型使用专化比率，而分离作用处于混合状态，重叠惩罚则系统性地有害。我们指出这种危害并非优化失效：重叠活跃方法与重叠自由方法拟合数据表现相同，但将优化器引导至退化平衡态，使原型中心被推向训练输入凸包之外。覆盖正则化无法对这种驱逐给予奖励，因而充当吸引子：分离仅在高温下才容许这种驱逐，重叠则在给定的超参数选择下容许这种驱逐。对分离唯一掩码进行直接的 $\tau$-扫描以及在 N=100 时对原型位置的可视化均确认了该机制。这些发现提出了一条简单的数据驱动设计原则：每种排斥结构损失都必须由兼容的吸引子所补偿，否则将坍塌其旨在细化的潜在几何。