神经网络权重范数等于Kolmogorov复杂度

权重衰减为何有效？我们证明，在任意固定精度下，输出二进制字符串的循环神经网络的最小权重范数等于该字符串的Kolmogorov复杂度，最多只差一个对数因子。这意味着，权重衰减诱导的先验与Solomonoff的通用先验一致——这是对可计算函数的最优先验，最多只差一个多项式因子。该结果与范数无关：在固定精度下，所有权重范数都等价于非零参数个数（最多只差常数），因此任何用作正则化的范数都适用相同的夹逼界。我们的证明包含两个简短的归约：任何针对通用图灵机的程序都可被编码为神经网络权重，编码成本为每个程序位；以及任何固定精度的神经网络都可通过枚举其非零参数（带对数寻址开销）来描述。两个界限在常数级别都紧密，由置换编码实现该对数因子：一个其参数编码置换的网络产生的字符串，其Kolmogorov复杂度等于非零参数个数乘以其对数。固定精度假设至关重要：在无限精度下，神经网络可编码不可计算函数，权重范数失去其相关性。