分割批归一化：改善域偏移下半监督学习
机器学习
2019-10-07 v1 机器学习
摘要
近期工作表明，在半监督学习（SSL）中使用无标签数据并非总是有益，甚至可能损害泛化，尤其当无标签与有标签样本间存在类别不匹配时。我们在 CIFAR-10 与 ImageNet 数据集上针对图像分类，并施加多种其他域偏移（如椒盐噪声）研究该现象。主要贡献是分割批归一化（Split-BN），一种当额外无标签数据来自偏移分布时改善 SSL 的技术。我们通过为无标签样本使用独立的批归一化统计量来实现它。因其简单性，我们推荐将其作为标准做法。最后，我们分析域偏移如何影响 SSL 训练过程。特别地，我们发现训练期间后期隐藏层激活的统计量在无标签与有标签样本间变得明显不同。
引用
@article{arxiv.1904.03515,
title = {Split Batch Normalization: Improving Semi-Supervised Learning under Domain Shift},
author = {Michał Zając and Konrad Zolna and Stanisław Jastrzębski},
journal= {arXiv preprint arXiv:1904.03515},
year = {2019}
}
备注
Under review for ECML PKDD 2019