以鲁棒分类器引导增强基于扩散的图像合成
计算机视觉与模式识别
2023-03-17 v2 机器学习
摘要
去噪扩散概率模型（DDPMs）是近期一类取得最先进结果的生成模型。为获得类条件生成，有研究建议由时间相关分类器的梯度来引导扩散过程。尽管该想法在理论上合理，但基于深度学习的分类器众所周知易受基于梯度的对抗攻击。因此，传统分类器虽可能取得良好准确率分数，其梯度却可能不可靠并妨碍生成结果的改进。近期工作发现，对抗鲁棒分类器展现出与人类感知对齐的梯度，且可更好地引导生成过程朝向语义有意义图像。我们利用该观察，定义并训练一个时间相关的对抗鲁棒分类器，并将其用作生成扩散模型的引导。在极具挑战且多样的 ImageNet 数据集上的实验中，我们的方案引入了显著更可理解的中间梯度、与理论发现更好的对齐，以及在多个评估指标下改进的生成结果。此外，我们进行了一项意见调查，其发现表明人类评分者偏好我们方法的结果。
引用
@article{arxiv.2208.08664,
title = {Enhancing Diffusion-Based Image Synthesis with Robust Classifier Guidance},
author = {Bahjat Kawar and Roy Ganz and Michael Elad},
journal= {arXiv preprint arXiv:2208.08664},
year = {2023}
}
备注
Accepted to TMLR