训练时间批量归一化重塑分片仿射网络的局部分区几何

批量归一化（BN）是现代深度网络中核心组件，但其对训练期间实现函数的影响远不如优化优势那样被理解。在本文中，我们通过分析切换超平面及其诱导仿射分区几何，研究训练时间的 BN 在连续分片仿射（CPA）网络中的作用。我们在 mini-batch 的条件下，表明 BN 为每个神经元定义了通过 batch 质心的参考超平面，并且 breakpoint-switching 超平面是平行平移，其偏移量以 batch 标准化坐标表示，且独立于 raw bias。这导致了关于切换超平面是否与 local $\ell_\infty$ 窗口相交的精确准则，并激发了基于 exact affine-region 计数的局部区域密度泛函。在明确的充分条件下，我们表明 BN 增加了 ReLU 和更一般分片仿射网络中预期的局部分区细化，并且这种机制通过深度在父仿射区域内的上游表示图是仿射嵌入的情况下局部传递。这些结果提供了训练时间 BN 在数据附近进行 batch-条件 recentering 的函数层几何解释。