PET2Rep：面向正电子断层扫描的视觉-语言模型驱动的自动化放射学报告生成
图像与视频处理
2025-11-13 v2 计算机视觉与模式识别
摘要
正电子断部扫描（PET）是现代肿瘤和神经科学影像的基石，因其独特能力 illuminate 动态代谢过程而区别于传统影像技术的解剖学聚焦。放射学报告对临床决策至关重要，但手动创建报告则代价高昂且耗时。最近，视觉-语言模型（VLMs）在医学领域展现出强大的潜力，为自动化报告生成提供了可行之路。然而，现有 VLMs 在医学领域的应用主要聚焦于结构性影像模态，而分子PET影像的独特特征则鲜有被关注。为弥合这一差距，我们引入 PET2Rep，这是面向PET报告生成的大型综合性基准测试，用于评估通用型和医学专用 VLMs。PET2Rep 是首个专为PET报告生成设计的数据集，独特地捕获了覆盖数十个器官的全身图像-报告对，填补了现有基准测试在此方面的关键空白，契合真实临床实践的全面性。除广为人知的自然语言生成指标外，我们还引入一系列临床效能指标，用于评估生成报告中关键器官放射Tracer 取象描述的质量。我们对 30 个最前沿的通用型和医学专用 VLMs 进行了头碰比较。结果显示，当前最先进的 VLMs 在PET报告生成任务上表现不佳，距离满足实际需求相距甚远。此外，我们识别出若干关键不足之处，为推动医学应用的发展指明了方向。
引用
@article{arxiv.2508.04062,
title = {PET2Rep: Towards Vision-Language Model-Drived Automated Radiology Report Generation for Positron Emission Tomography},
author = {Yichi Zhang and Wenbo Zhang and Zehui Ling and Gang Feng and Sisi Peng and Deshu Chen and Yuchen Liu and Hongwei Zhang and Shuqi Wang and Lanlan Li and Limei Han and Yuan Cheng and Zixin Hu and Yuan Qi and Le Xue},
journal= {arXiv preprint arXiv:2508.04062},
year = {2025}
}
备注
Accepted by AAAI 2026