CT2Rep：面向 3D 医学影像的自动化放射学报告生成
图像与视频处理
2024-07-08 v2 计算机视觉与模式识别
摘要
医学影像在诊断中发挥着至关重要的作用，而放射学报告则是重要的文档记录。自动化报告生成已成为减轻放射科医生工作负担的关键需求。虽然机器学习已促进了 2D 医学影像的报告生成，但由于计算复杂性和数据稀缺，将其扩展至 3D 领域尚未得到探索。我们介绍了首个针对 3D 医学影像（具体针对胸部 CT 容积）生成放射学报告的方法。鉴于缺乏可比方法，我们利用医学影像中先进的 3D 视觉编码器建立基线，以展示我们方法的有效性，该方法利用了一种新颖的自回归因果 Transformer。此外，认识到利用既往就诊信息的益处，我们通过基于交叉注意力的多模态融合模块和分层记忆增强了 CT2Rep，从而能够整合纵向多模态数据。代码访问地址：https://github.com/ibrahimethemhamamci/CT2Rep
引用
@article{arxiv.2403.06801,
title = {CT2Rep: Automated Radiology Report Generation for 3D Medical Imaging},
author = {Ibrahim Ethem Hamamci and Sezgin Er and Bjoern Menze},
journal= {arXiv preprint arXiv:2403.06801},
year = {2024}
}