相似轨迹：链接扩散生成图像的抽样过程与制品
计算机视觉与模式识别
2024-12-24 v1 机器学习
摘要
制品检测算法是纠正扩散模型生成输出的关键因素。然而，由于制品形式的多样性，现有方法需要大量标注数据进行训练。这种要求限制了其可扩展性和效率，进而限制了其广泛应用。本文表明，扩散模型生成图像时，连续时间步骤之间去噪后图像的相似性与图像制品严重程度相关。基于此观察，我们引入了相似轨迹 (Similarity Trajectory) 的概念，以刻画抽样过程及其与生成图像制品之间的相关性。使用仅 680 张标注图像（仅为 prior work 使用数据的 0.1%）的标注数据集，我们在这些轨迹上训练了分类器以预测图像是否存在制品。通过在该平衡标注数据集上进行 10 折交叉验证测试，分类器可实现 72.35% 的准确率，凸显了相似轨迹与制品发生之间的关联。这一方法使我们能够仅通过有限的训练数据即可区分具有制品和自然外观的图像。
引用
@article{arxiv.2412.17109,
title = {Similarity Trajectories: Linking Sampling Process to Artifacts in Diffusion-Generated Images},
author = {Dennis Menn and Feng Liang and Hung-Yueh Chiang and Diana Marculescu},
journal= {arXiv preprint arXiv:2412.17109},
year = {2024}
}