通过嵌入层增强评估潜在扩散模型的鲁棒性
机器学习
2025-06-10 v1
摘要
潜在扩散模型（LDMs）在各种任务中实现了最先进的性能，包括图像生成和视频合成。然而，它们通常缺乏鲁棒性，这一局限性在当前研究中尚未得到充分探讨。本文提出了若干方法来解决这一问题。首先，我们假设 LDMs 的鲁棒性应在不包含其文本编码器的情况下进行衡量，因为如果我们采用并探索整个体系结构，图像生成器和文本编码器的问题将被合并。其次，我们引入了若干新颖的数据增强技术，以揭示 LDMs 在处理多样化文本提示时的鲁棒性短板。随后，我们在 Dreambooth 过程中对 Stable Diffusion 3 和 Stable Diffusion XL 模型进行微调，纳入这些提议的增强方法用于多个任务。最后，我们提出一种专为评估通过 Dreambooth 微调的 LDMs 鲁棒性而设计的新型评估管道。
引用
@article{arxiv.2506.07706,
title = {Evaluating Robustness in Latent Diffusion Models via Embedding Level Augmentation},
author = {Boris Martirosyan and Alexey Karmanov},
journal= {arXiv preprint arXiv:2506.07706},
year = {2025}
}