用于（持续）广义零样本学习的类归一化

归一化技术已被证明是传统有监督学习体制中成功训练的关键要素。然而，在零样本学习（ZSL）领域，这些思想仅受到边缘化的关注。本工作从理论与实际两个角度研究 ZSL 场景中的归一化。首先，我们对零样本学习中两个流行的技巧——归一化+缩放与属性归一化——给出理论解释，并表明它们通过在前向传播中保持方差来辅助训练。接着，我们证明它们不足以归一化一个深度 ZSL 模型，并提出类归一化（CN）：一种在理论上与实践上均能缓解此问题的归一化方案。第三，我们展示 ZSL 模型通常比传统分类器具有更不规则的损失曲面，且所提方法部分地补救了该问题。然后，我们在 4 个标准 ZSL 数据集上测试我们的方法，并以一个简单 MLP（无任何花哨技巧优化、训练速度快约 50 倍）超越了复杂的现代 SOTA。最后，我们将 ZSL 推广到更广泛的问题——持续 ZSL，并为这一新设置引入了若干原则性度量与严谨基线。项目页面位于 https://universome.github.io/class-norm。