RegBN：具有正则化的多模态数据批归一化
计算机视觉与模式识别
2023-11-21 v2
摘要
近年来，受神经网络在多模态数据融合中令人瞩目成功的推动，人们对集成多源传感器采集的高维数据兴趣激增。然而，异构多模态数据的融合带来了重大挑战，因为此类异构数据源之间的混杂效应和依赖关系引入了不期望的变异性和偏差，导致多模态模型性能次优。因此，在融合之前对从数据模态中提取的低层或高层特征进行归一化变得至关重要。本文提出一种用于多模态数据归一化的新方法，称为 RegBN，其引入了正则化。RegBN 使用 Frobenius 范数作为正则化项，以解决不同数据源之间混杂因素和潜在依赖关系的副作用。所提方法在多种模态间具有良好的泛化性，且无需可学习参数，简化了训练和推理。我们在来自五个研究领域的八个数据库上验证了 RegBN 的有效性，涵盖了语言、音频、图像、视频、深度、表格和 3D MRI 等多种模态。该方法在多层感知机、卷积神经网络和 vision transformers 等不同架构上展现出广泛的适用性，能够对多模态神经网络中的低层和高层特征进行有效归一化。RegBN 可在 \url{https://github.com/mogvision/regbn} 获取。
引用
@article{arxiv.2310.00641,
title = {RegBN: Batch Normalization of Multimodal Data with Regularization},
author = {Morteza Ghahremani and Christian Wachinger},
journal= {arXiv preprint arXiv:2310.00641},
year = {2023}
}