直接上升合成：揭示判别模型中隐藏的生成能力
计算机视觉与模式识别
2025-02-12 v1
摘要
我们证明判别模型本质上包含强大的生成能力，这挑战了判别式与生成式架构之间的根本区别。我们的方法——直接上升合成（DAS），通过对 CLIP 模型表示的多分辨率优化揭示了这些潜在能力。虽然传统的反演尝试会产生对抗模式，但 DAS 通过跨多个空间尺度（1x1 到 224x224）分解优化，实现了高质量图像合成，且无需额外训练。该方法不仅支持从文本生成图像到风格迁移等多种应用，还保持了自然图像统计特性（ 频谱），并引导生成过程远离非鲁棒的对抗模式。我们的结果表明，标准判别模型编码了比以往认知更为丰富的生成知识，为模型可解释性以及对抗样本与自然图像合成之间的关系提供了新视角。
引用
@article{arxiv.2502.07753,
title = {Direct Ascent Synthesis: Revealing Hidden Generative Capabilities in Discriminative Models},
author = {Stanislav Fort and Jonathan Whitaker},
journal= {arXiv preprint arXiv:2502.07753},
year = {2025}
}
备注
12 pages, 12 figures