用于分布偏移下泛化的 CrossNorm 与 SelfNorm

Zhiqiang Tang; Yunhe Gao; Yi Zhu; Zhi Zhang; Mu Li; Dimitris Metaxas

用于分布偏移下泛化的 CrossNorm 与 SelfNorm

计算机视觉与模式识别 2021-08-17 v2 机器学习

作者: Zhiqiang Tang , Yunhe Gao , Yi Zhu , Zhi Zhang , Mu Li , Dimitris Metaxas

摘要

传统归一化技术（例如 Batch Normalization 和 Instance Normalization）通常简单地假设训练与测试数据服从相同分布。由于分布偏移在实际应用中不可避免，使用先前归一化方法训练良好的模型在新环境中可能表现糟糕。我们能否开发新的归一化方法来提升分布偏移下的泛化鲁棒性？本文中，我们通过提出 CrossNorm 和 SelfNorm 来回答该问题。CrossNorm 在特征图之间交换通道均值和方差以扩大训练分布，而 SelfNorm 使用注意力重新校准统计量以弥合训练与测试分布间的差距。CrossNorm 和 SelfNorm 可互为补充，尽管它们在统计量的使用上探索不同方向。在不同领域（视觉与语言）、任务（分类与分割）、设置（监督与半监督）和分布偏移类型（合成与自然）上的大量实验显示了其有效性。代码见 https://github.com/amazon-research/crossnorm-selfnorm

关键词

归一化分布偏移 CrossNorm SelfNorm 泛化 Batch Normalization

引用

@article{arxiv.2102.02811,
  title  = {CrossNorm and SelfNorm for Generalization under Distribution Shifts},
  author = {Zhiqiang Tang and Yunhe Gao and Yi Zhu and Zhi Zhang and Mu Li and Dimitris Metaxas},
  journal= {arXiv preprint arXiv:2102.02811},
  year   = {2021}
}

备注

ICCV 2021

用于分布偏移下泛化的 CrossNorm 与 SelfNorm

摘要

关键词

引用

备注

相关论文