自适应上下文归一化：图像处理中深度学习的助推器

用于图像处理的深度神经网络学习面临着与跨层分布变化相关的主要挑战，这破坏了模型的收敛性和性能。激活归一化方法，如批归一化(BN)，已经彻底改变了这一领域，但它们依赖于数据分布可以由单个高斯分布建模的简化假设。为了克服这些限制，混合归一化(MN)引入了一种基于高斯混合模型(GMM)的方法，假设多个分量来建模数据。然而，这种方法伴随着与使用期望最大化算法来估计每个高斯分量参数相关的巨大计算需求。为了解决这个问题，我们引入了自适应上下文归一化(ACN)，一种新颖的有监督方法，它引入了“上下文”的概念，将一组具有相似特征的数据分组在一起。属于同一上下文的数据使用相同的参数进行归一化，从而实现了基于上下文的局部表示。对于每个上下文，归一化参数以及模型权重在反向传播阶段被学习。ACN不仅确保了速度、收敛性和优于BN和MN的性能，而且提出了一种新的视角，强调了其在图像处理领域的特殊功效。