PIE:通过渐进式图像编辑模拟疾病进展
图像与视频处理
2023-10-06 v2 计算机视觉与模式识别
机器学习
摘要
疾病进展模拟是一个关键的研究领域,对临床诊断、预后和治疗具有重要意义。该领域的一个主要挑战是缺乏个体患者随时间的连续医学影像监测。为解决此问题,我们开发了称为渐进式图像编辑(PIE)的新框架,可受控地操纵疾病相关图像特征,促进精确且真实的疾病进展模拟。具体而言,我们利用文本到图像生成模型的最新进展来准确模拟疾病进展并为其对每个患者个性化。我们将框架中的迭代细化过程理论上分析为具有指数衰减学习率的梯度下降。为验证框架,我们在三个医学影像领域进行实验。结果表明,基于 CLIP 分数(真实感)和疾病分类置信度(对齐度),PIE 优于现有方法如 Stable Diffusion Walk 和基于 Style-Based Manifold Extrapolation 的方法。我们的用户研究收集了 35 名资深医师的反馈以评估生成的进展。值得注意的是,76.2% 的反馈认可所生成进展的保真度。据我们所知,PIE 是首个生成符合现实世界标准的疾病进展图像的同类框架。它是医学研究和临床实践的 promising 工具,潜在地使医疗提供者能随时间建模疾病轨迹、预测未来治疗反应并改善患者结局。
引用
@article{arxiv.2309.11745,
title = {PIE: Simulating Disease Progression via Progressive Image Editing},
author = {Kaizhao Liang and Xu Cao and Kuei-Da Liao and Tianren Gao and Wenqian Ye and Zhengyu Chen and Jianguo Cao and Tejas Nama and Jimeng Sun},
journal= {arXiv preprint arXiv:2309.11745},
year = {2023}
}
备注
Code and checkpoints for replicating our results can be found at https://github.com/IrohXu/PIE and https://huggingface.co/IrohXu/stable-diffusion-mimic-cxr-v0.1