条件方差惩罚与域偏移鲁棒性

在训练用于图像分类的深度神经网络时，可以大致区分出驱动分类的两类图像潜在特征。我们将潜在特征分为(i)“核心”或“条件不变”特征$X^\text{core}$，其分布$X^\text{core}\vert Y$在给定类别$Y$的条件下在不同域间不发生显著变化；以及(ii)“风格”特征$X^{\text{style}}$，其分布$X^{\text{style}} \vert Y$在不同域间可能发生显著变化。风格特征的例子包括位置、旋转、图像质量或亮度，也包括更复杂的如人的图像中的发色、图像质量或姿态。我们的目标是最小化在这些风格特征分布变化下具有鲁棒性的损失。与以往工作不同，我们假设域本身未被观测到，因此是一个潜变量。我们确实假设有时可以观测到一个通常为离散的标识符或“$\mathrm{ID}$变量”。在某些应用中，例如我们知道两张图像显示同一个人，此时$\mathrm{ID}$指代该人的身份。所提出的方法仅需要一小部分图像具有$\mathrm{ID}$信息。如果观测共享相同的类别和标识符$(Y,\mathrm{ID})=(y,\mathrm{id})$，我们将它们分组，并在以$(Y,\mathrm{ID})$为条件时对预测或损失的条件方差进行惩罚。利用因果框架，该条件方差正则化(CoRe)被证明能在渐近意义上防范风格变量分布发生偏移。实证上，我们表明CoRe惩罚在图像质量、亮度和颜色方面的域变化设置中显著提高了预测精度，同时我们也考察了如运动和姿态等更复杂的变化。