利用基于先验知识的归一化增强神经网络表示
机器学习
2024-10-31 v3 人工智能
神经与进化计算
摘要
深度学习模型在训练中面临持续的挑战，这主要归因于内部协变量偏移和标签偏移。虽然像 Batch Normalization 这样的单模态归一化方法部分解决了这些问题，但它们受到批大小依赖性和限制性分布假设的约束。多模态归一化技术缓解了这些局限性，但在处理多样化高斯分布时面临计算需求方面的困难。在本文中，我们引入了一种新的多模态归一化方法，该方法利用先验知识来改善神经网络表示。我们的方法在训练之前将数据组织成预定义的结构或“上下文”，并基于这些上下文进行归一化，包含两种变体：上下文归一化（CN）和扩展上下文归一化（CN-X）。当上下文不可用时，我们引入了自适应上下文归一化（ACN），它在训练期间在潜在空间中动态构建上下文。在图像分类、领域自适应和图像生成等任务中，我们的方法展现出更优的收敛性和性能。
引用
@article{arxiv.2403.16798,
title = {Enhancing Neural Network Representations with Prior Knowledge-Based Normalization},
author = {Bilal Faye and Hanane Azzag and Mustapha Lebbah and Djamel Bouchaffra},
journal= {arXiv preprint arXiv:2403.16798},
year = {2024}
}