DALL-E 2对放射学了解多少？
计算机视觉与模式识别
2024-05-17 v1 人工智能
图像与视频处理
摘要
诸如DALL-E 2之类的生成模型可能代表放射学人工智能研究中图像生成、增强和操作的有前途的未来工具，前提是这些模型具有足够的医学领域知识。在这里，我们表明DALL-E 2已经学习了X射线图像的相关表示，在零样本文本到图像生成新图像、将图像扩展到原始边界之外或移除元素方面具有有前途的能力，而病理生成或CT、MRI和超声图像仍然有限。因此，使用生成模型来增强和生成放射学数据似乎是可行的，尽管需要事先对这些模型进行进一步的微调和适应到相应领域。
引用
@article{arxiv.2209.13696,
title = {What Does DALL-E 2 Know About Radiology?},
author = {Lisa C. Adams and Felix Busch and Daniel Truhn and Marcus R. Makowski and Hugo JWL. Aerts and Keno K. Bressem},
journal= {arXiv preprint arXiv:2209.13696},
year = {2024}
}
备注
4 Figures