文本驱动的肿瘤合成
图像与视频处理
2024-12-25 v1 计算机视觉与模式识别
摘要
肿瘤合成可以生成AI经常漏检或过度检测的样本，通过在这些具有挑战性的案例上训练来提高AI性能。然而，现有的合成方法通常是无条件的——从随机变量生成图像——或仅由肿瘤形状条件控制，缺乏对特定肿瘤特征（如纹理、异质性、边界和病理类型）的可控性。因此，生成的肿瘤可能与现有训练数据过于相似或重复，无法有效解决AI的弱点。我们提出了一种新的文本驱动肿瘤合成方法，称为TextoMorph，它提供了对肿瘤特征的文本控制。这对于最令AI困惑的案例尤其有益，例如早期肿瘤检测（灵敏度提高+8.5%）、用于精确放疗的肿瘤分割（DSC提高+6.3%），以及良恶性肿瘤分类（灵敏度提高+8.2%）。通过将从放射学报告中挖掘的文本纳入合成过程，我们增加了合成肿瘤的变异性和可控性，以更精确地针对AI的失败案例。此外，TextoMorph使用跨不同文本和CT扫描的对比学习，通过利用包含34,035份放射学报告的大型语料库，显著减少了对稀缺图像-报告对（本研究仅使用141对）的依赖。最后，我们开发了严格的测试来评估合成肿瘤，包括文本驱动的视觉图灵测试和影像组学模式分析，结果表明我们的合成肿瘤在纹理、异质性、边界和病理方面是逼真且多样的。
引用
@article{arxiv.2412.18589,
title = {Text-Driven Tumor Synthesis},
author = {Xinran Li and Yi Shuai and Chen Liu and Qi Chen and Qilong Wu and Pengfei Guo and Dong Yang and Can Zhao and Pedro R. A. S. Bassi and Daguang Xu and Kang Wang and Yang Yang and Alan Yuille and Zongwei Zhou},
journal= {arXiv preprint arXiv:2412.18589},
year = {2024}
}