容量控制是文本条件扩散模型中有效的记忆抑制机制
计算机视觉与模式识别
2024-10-30 v1
摘要
本文提供了有力证据表明，在微调期间控制模型容量可以有效缓解扩散模型中的记忆问题。具体而言，我们证明，在预训练-微调范式中采用参数高效微调 (PEFT) 方法，能够显著降低相对于传统全微调方法的记忆现象。我们的实验使用 MIMIC 数据集，该数据集包含胸部X光图像及其对应报告的图像-文本对。通过多种记忆和生成质量指标进行评估，结果表明 PEFT 不仅降低了记忆，还提升了下游生成质量。此外，PEFT 方法可以与现有的记忆抑制技术无缝结合，以获得进一步的改进。我们的实验代码已公开：https://github.com/Raman1121/Diffusion_Memorization_HPO
引用
@article{arxiv.2410.22149,
title = {Capacity Control is an Effective Memorization Mitigation Mechanism in Text-Conditional Diffusion Models},
author = {Raman Dutt and Pedro Sanchez and Ondrej Bohdal and Sotirios A. Tsaftaris and Timothy Hospedales},
journal= {arXiv preprint arXiv:2410.22149},
year = {2024}
}
备注
Accepted at the GenLaw (Generative AI + Law) workshop at ICML'24