关于特征归一化与数据增强

在训练图像识别模型时，潜特征的矩（即均值与标准差）常作为噪声被去除，以提升稳定性并缩短训练时间。然而，在图像生成领域，矩起着核心得多的作用。研究表明，从实例归一化和位置归一化中提取的矩可粗略捕捉图像的风格与形状信息。这些矩非但未被丢弃，反而对生成过程至关重要。本文中我们提出矩交换（Moment Exchange），一种隐式数据增强方法，鼓励模型在识别模型中也利用矩信息。具体而言，我们将一幅训练图像所学特征的矩替换为另一幅的矩，并对目标标签进行插值——迫使模型除归一化特征外还需从矩中提取训练信号。由于我们的方法快速、完全在特征空间内操作且混合了不同于已有方法的信号，可将其与现有增强方法有效结合。我们在多个识别基准数据集上展示了其功效，它以显著的一致性提升了极具竞争力基线网络的泛化能力。