无监督合成图像归因：对齐与解耦

随着合成图像质量的提升，识别模型生成图像的底层概念日益重要，这对于版权保护和确保模型透明度至关重要。现有方法通过训练使用注释的合成图像及其原始训练来源的配对来实现归因目标。然而，获取此类配对监督信息具有挑战性，因为它需要精心设计的合成概念或来自数百万训练来源的精确注释。为消除对高成本配对注释的需求，本文探索了无监督合成图像归因的可能性。我们提出一种简单而有效的无监督方法，称为Alignment and Disentanglement（对齐与解耦）。具体而言，我们首先通过对比自监督学习执行基本概念对齐。随后，通过信息最大化损失促进模型的归因能力。我们基于这样一个有趣的观察：对比自监督模型（如MoCo和DINO）天然具备执行简单跨域对齐的能力。我们将这一观察形式化为交叉协方差的理论假设，提供了通过标准相关分析目标分解来近似概念匹配过程的理论解释。在真实世界基准测试（AbC）上，我们展示了该无监督方法意外地超过了监督方法。作为启发，我们期待我们的直观见解和实验发现为这一具有挑战性的任务提供了全新的视角。