三层神经网络局部学习系数的上界

三层神经网络已知构成奇异学习模型，其贝叶斯渐近行为由学习系数（即实对数规范阈值）决定。虽然该数量量已为规则模型及某些特殊奇异模型阐明，但针对神经网络的通用评估方法仍显有限。最近提出了半规则模型局部学习系数的公式，得到了学习系数的上界。然而，该公式仅适用于实现参数集中的非奇异点，无法用于奇异点。特别是对于三层神经网络，该上界在某些情况下与已知的学习系数值相差甚远。本文推导了三层神经网络奇异点局部学习系数的上界公式。该公式可解释为受预算约束和需求-供给约束下的计数规则，适用于一般解析激活函数，尤其涵盖激活函数和多项式函数，扩展了前期结果的适用范围。我们进一步指出，当输入维数为一时，本文得到的上界与已知的学习系数一致，从而部分解决了上述差异。我们的结果还提供了系统视角，阐明了三层神经网络权重参数如何影响学习系数。