利用局部扩散解决图像翻译中的结构幻觉问题
计算机视觉与模式识别
2024-07-18 v5 人工智能
机器学习
摘要
扩散模型的最新进展推动了条件图像生成,但它们在重建分布外(OOD)图像(例如医学图像中未见过的肿瘤)方面存在困难,会导致“图像幻觉”并带来误诊风险。我们假设这种幻觉是由条件图像中的局部OOD区域引起的。我们验证了划分OOD区域并进行单独的图像生成可以减轻在多种应用中的幻觉。由此,我们提出了一个无需训练的扩散框架,通过多个局部扩散过程来减少幻觉。我们的方法包括OOD估计,随后是两个模块:一个“分支”模块在OOD区域内和区域外分别进行局部生成,一个“融合”模块将这些预测整合为一个。我们的评估表明,与基线模型相比,我们的方法在定量和定性上均减轻了幻觉,在真实世界医学和自然图像数据集中分别将误诊率降低了40%和25%。它还展示了与各种预训练扩散模型的兼容性。
引用
@article{arxiv.2404.05980,
title = {Tackling Structural Hallucination in Image Translation with Local Diffusion},
author = {Seunghoi Kim and Chen Jin and Tom Diethe and Matteo Figini and Henry F. J. Tregidgo and Asher Mullokandov and Philip Teare and Daniel C. Alexander},
journal= {arXiv preprint arXiv:2404.05980},
year = {2024}
}