基于 Hausdorff 因子化支撑的关联因素解耦

深度学习研究的一个宏大目标是学习能够跨分布偏移泛化的表示。解耦是一种有前景的方向，旨在将模型的表示与生成数据的底层因素（例如颜色或背景）对齐。然而，现有的解耦方法依赖于一个往往不现实的假设：因素是统计独立的。现实中，因素（如物体颜色和形状）是相关的。为解决此局限，我们考虑使用一种松弛的解耦准则——Hausdorff 因子化支撑（HFS）准则——它通过最小化 Hausdorff 距离，仅鼓励成对因子化支撑而非因子化分布。这允许因素在其支撑上呈任意分布，包括它们之间的相关性。我们表明，在各种相关性设置与基准上，即便在严重的训练相关性和相关性偏移下，HFS 的使用也一致促进了解耦与真实因素的恢复，相对于现有解耦方法在部分上相对提升超过 $+60\%$。此外，我们发现利用 HFS 进行表示学习甚至能促进向分布偏移下分类等下游任务的迁移。我们希望我们新颖的方法与积极的经验结果能启发对鲁棒泛化这一开放问题的进一步进展。代码见 https://github.com/facebookresearch/disentangling-correlated-factors。