用于视位特异性胸部 X 光生成的视觉-语言生成模型
图像与视频处理
2024-05-01 v5 计算机视觉与模式识别
机器学习
摘要
合成医疗数据生成在医疗健康领域开辟了新的可能性,为模拟临床场景、提升诊断与治疗质量、获取细粒度医学知识以及加速无偏算法的开发提供了有力工具。在此背景下,我们提出一种称为 ViewXGen 的新方法,旨在克服现有方法的局限——后者依赖通用领域流水线,仅使用放射学报告生成正面视位胸部 X 光。我们的方法考虑了数据集中存在的多样视位,能够生成具有特定视位的胸部 X 光,这标志着该领域的重大进展。为此,我们为每种视位引入一组特别设计的标记,使生成过程适应用户的偏好。此外,我们利用多视位胸部 X 光作为输入,整合同一检查中来自不同视位的有价值信息。这种整合纠正了潜在错误,并有助于在胸部 X 光生成中忠实捕捉异常发现。为验证我们方法的有效性,我们进行了统计分析,在 MIMIC-CXR 数据集上以临床效能指标评估其性能。同时,人工评估展示了 ViewXGen 的卓越能力,尤其在生成与原始图像高度相似的真实视位特异性 X 光方面。
引用
@article{arxiv.2302.12172,
title = {Vision-Language Generative Model for View-Specific Chest X-ray Generation},
author = {Hyungyung Lee and Da Young Lee and Wonjae Kim and Jin-Hwa Kim and Tackeun Kim and Jihang Kim and Leonard Sunwoo and Edward Choi},
journal= {arXiv preprint arXiv:2302.12172},
year = {2024}
}
备注
Accepted at CHIL 2024