生成网络最后一层中的批归一化

生成网络在生成照片级真实感图像方面展现出巨大潜力。尽管如此，围绕它们的理论仍是活跃的研究领域。许多生成网络的有用工作依赖于往往能产生良好结果的启发式方法。其中一条启发式建议是不要在生成器网络的最后一层使用批归一化（Batch Normalization）。许多最先进的生成网络架构都使用了这一启发式，但这样做的原因并不一致。本文将表明这未必是一条好的启发式，批归一化在生成器网络最后一层中可能是有益的：可将其置于最终非线性激活（通常为 $tanh$）之前，或完全用批归一化与截断替代最终的 $tanh$ 激活。我们表明，通过将生成器的均值与标准差匹配目标分布图像颜色值，这可以加快生成器网络的训练。