生成模型的反向工程：从生成图像推断模型超参数

最先进（SOTA）的生成模型（GMs）能够合成难以被人类区分于真实照片的逼真图像。识别和理解被操纵的媒体对于缓解对GMs潜在滥用的社会担忧至关重要。我们提出对GMs进行反向工程，以从这些模型生成的图像中推断模型超参数。我们定义了一种新问题——“模型解析”，即通过检查GMs生成的图像来估计其网络架构和训练损失函数——这对人类而言似乎是不可能的任务。为应对该问题，我们提出了一个包含两部分的框架：指纹估计网络（FEN），通过四种约束训练从生成图像中估计GM指纹以促使指纹具备期望特性；以及解析网络（PN），从估计的指纹预测网络架构和损失函数。为评估我们的方法，我们收集了一个包含由$116$个不同GMs生成的$100$K图像的深伪图像数据集。大量实验显示出对未见模型超参数解析的令人鼓舞的结果。最后，我们的指纹估计可用于深度伪造检测和图像溯源，正如我们在深度伪造检测（Celeb-DF）和图像溯源基准上报告SOTA结果所展示的那样。