利用合成数据和领域知识提升基于文本的LGE检测性能：一种“假装再造”策略
计算机视觉与模式识别
2025-02-19 v1 人工智能
摘要
检测来自心脏LGE MRI图像的强化区域是一项复杂任务，需大量临床专家知识。尽管深度学习模型已显示出针对该任务的前景成果，但它们需要大量带有精细标注的数据。临床报告包含丰富的临床相关信息，包括任何瘢痕的位置、范围和病因。虽然最近开发的基于CLIP的训练方法使模型能够使用图像-文本对进行预训练，但需要大量数据以及针对下游任务的进一步微调策略。本研究利用源于领域知识的多种策略，在仅使用来自临床报告文本的情况下训练LGE检测模型，数据集为965名患者。我们通过合成数据增强、系统性创建瘢痕图像及其关联文本来提升性能。此外，我们以解剖学方式标准化图像方向，以实现空间与文本特征的更好对齐。我们还使用标题损失实现细粒度监督，并探讨视觉编码器预训练对性能的影响。最后，进行消融研究以阐明每个设计组件对整体模型性能的贡献。
引用
@article{arxiv.2502.12948,
title = {Fake It Till You Make It: Using Synthetic Data and Domain Knowledge for Improved Text-Based Learning for LGE Detection},
author = {Athira J Jacob and Puneet Sharma and Daniel Rueckert},
journal= {arXiv preprint arXiv:2502.12948},
year = {2025}
}
备注
Poster at Workshop on Large Language Models and Generative AI for Health at AAAI 2025