元数据归一化
机器学习
2021-05-06 v2
摘要
批归一化（BN）及其变体在应对深度学习方法训练步骤引发的协变量偏移方面取得了巨大成功。尽管这些技术通过批统计量标准化来归一化特征分布，它们并未修正来自外来变量或多重分布对特征的影响。此类额外变量在此称为元数据，可能产生偏置或混杂效应（例如从人脸图像分类性别时的种族）。我们引入元数据归一化（MDN）层，一种可在训练框架内端到端使用的新批级操作，以修正元数据对特征分布的影响。MDN采用传统用于预处理的回归分析技术，在训练期间去除（回归掉）元数据对模型特征的影响。我们利用基于距离相关的度量量化元数据的分布偏置，并证明我们的方法在四个不同设定下成功去除元数据效应：一个合成数据、一个2D图像、一个视频和一个3D医学图像数据集。
引用
@article{arxiv.2104.09052,
title = {Metadata Normalization},
author = {Mandy Lu and Qingyu Zhao and Jiequan Zhang and Kilian M. Pohl and Li Fei-Fei and Juan Carlos Niebles and Ehsan Adeli},
journal= {arXiv preprint arXiv:2104.09052},
year = {2021}
}
备注
Accepted to CVPR 2021. Project page: https://mml.stanford.edu/MDN/