相关性偏移下的解耦与泛化

变异因子之间的相关性在真实世界数据中十分普遍。利用此类相关性可能提高在含噪数据上的预测性能；然而，相关性往往并不鲁棒（例如，它们可能在域、数据集或应用之间发生变化），并且利用它们的模型在相关性发生偏移时无法泛化。解耦方法旨在学习在潜在子空间中捕获不同变异因子的表示。一种常见方法涉及最小化潜在子空间之间的互信息，使得每个子空间编码单一底层属性。然而，当属性相关时，这会失败。我们通过强制在可用属性条件下子空间之间的独立性来解决此问题，这使我们仅移除并非由训练数据中存在的关联结构所导致的依赖关系。我们通过一种对抗方法来实现这一点，以最小化子空间之间相对于类别变量的条件互信息（CMI）。我们首先从理论上证明，在线性问题上 CMI 最小化是鲁棒解耦的一个良好目标。然后我们在基于 MNIST 和 CelebA 的真实世界数据集上应用我们的方法，并表明它产生的模型在相关性偏移下（包括弱监督设置中）是解耦且鲁棒的。