作为初始化替代方案的熵正则化方法

局部熵损失函数提供了一个通用的框架来定义感知架构的正则化过程。除了可能在突触空间中各向异性之外，损失函数的局部熵平滑度可在训练期间变化，从而产生可调的模型复杂度。一种在训练早期强正则化然后逐渐消退的限定协议，构成了深度卷积神经网络标准初始化过程的替代方案，尽管如此，它具有更广泛的适用性。我们用统计物理和信息论的语言分析各向异性的局部熵平滑，为其解释和运作提供见解。我们评论了与重整化物理以及卷积网络时空结构相关的某些方面。