基于跨模态深度学习的标记性眼部超声数据集及医学报告生成
计算机视觉与模式识别
2024-07-29 v1
摘要
超声成像揭示了眼部结构并有助于诊断和治疗眼部疾病。然而，诊断报告的解释需要专业医生。我们提出了一个标记的眼部数据集，用于精确分析和自动探索医学图像及其相关报告。该数据集收集了来自中国沈阳某眼科医院2018年期间2417名患者的三种模态数据，包括超声图像、血流信息和检查报告，其中患者信息经过去标识化以保护隐私。据我们所知，这是唯一包含三种模态信息的眼部数据集。该数据集逐渐包含4858幅图像及其对应的自由文本报告，这些报告描述了15种典型的眼内疾病影像发现及其对应的解剖位置。每幅图像显示三种血流指数在三个特定动脉上的血流分布特征。报告由眼科医生在临床护理期间撰写。所提数据集用于基于跨模态深度学习模型生成医学报告。实验结果表明，该数据集适合用于训练涉及跨模态医学数据的监督模型。
引用
@article{arxiv.2407.18667,
title = {A Labeled Ophthalmic Ultrasound Dataset with Medical Report Generation Based on Cross-modal Deep Learning},
author = {Jing Wang and Junyan Fan and Meng Zhou and Yanzhu Zhang and Mingyu Shi},
journal= {arXiv preprint arXiv:2407.18667},
year = {2024}
}