微调扩散模型在准确性与可解释性之间的权衡
计算机视觉与模式识别
2023-12-21 v2
摘要
扩散模型的最新进展显著影响了生成式机器学习研究的发展轨迹，许多人采用使用领域特定文本到图像数据集微调预训练模型的策略。值得注意的是，该方法已轻易用于医学应用，如X射线图像合成，充分利用大量相关放射学报告。然而，普遍担忧在于缺乏对这些模型是否真正理解其生成内容的保证。随着文本条件图像生成的发展，这些模型已变得足够强大以支撑对象定位审视。我们的研究在医学成像这一关键领域强调了此进展，并强调可解释性的重要作用。我们进一步揭示了生成式扩散模型中由常规度量衡量的图像保真度与模型可解释性之间的显著权衡。具体而言，微调时采用可学习文本编码器会导致可解释性降低。我们的深入探索揭示了造成此分歧的潜在因素。据此，我们提出一组用于开发真正可解释生成模型的设计原则。代码见 https://github.com/MischaD/chest-distillation。
引用
@article{arxiv.2303.17908,
title = {Trade-offs in Fine-tuned Diffusion Models Between Accuracy and Interpretability},
author = {Mischa Dombrowski and Hadrien Reynaud and Johanna P. Müller and Matthew Baugh and Bernhard Kainz},
journal= {arXiv preprint arXiv:2303.17908},
year = {2023}
}