ZC-Swish：面向边缘与微批次应用的深度无 BN 网络稳定化
机器学习
2026-04-22 v1
摘要
批归一化（BN）是深度学习的基石，然而它在微批次场景（例如三维医学成像）和非独立同分布联邦学习中从根本上失效。然而，从深度架构中移除 BN 通常会导致灾难性的训练失败，如梯度消失和通道死亡。我们发现，Swish 和 ReLU 等标准激活函数由于其非零中心特性，加剧了无 BN 网络中的这种不稳定性，随着网络深度的增加，这会导致激活均值偏移的累积。在本技术通讯中，我们提出了零中心 Swish（ZC-Swish），一种被参数化以将激活均值动态锚定在零附近的直接替换式激活函数。通过对深度为 8、16 和 32 的无 BN 卷积网络进行针对性的压力测试，我们证明，尽管标准 Swish 在深度 16 及以上时会崩溃至接近随机的性能，但 ZC-Swish 保持了稳定的逐层激活动力学，并在使用种子 42 的深度 16 下取得了最高的测试精度（51.5%）。因此，ZC-Swish 为在传统归一化不可行的内存受限与隐私保护应用中稳定深度网络提供了一种鲁棒且参数高效的解决方案。
引用
@article{arxiv.2604.19453,
title = {ZC-Swish: Stabilizing Deep BN-Free Networks for Edge and Micro-Batch Applications},
author = {Suvinava Basak},
journal= {arXiv preprint arXiv:2604.19453},
year = {2026}
}