基于放射组学引导的全局-局部Transformer用于胸片弱监督病灶定位
计算机视觉与模式识别
2022-10-20 v4
摘要
在深度学习方法成功用于自动化医学图像分析之前，从业者使用手工设计的放射组学特征来定量描述医学图像的局部块。然而，提取有判别力的放射组学特征依赖于准确的病灶定位，而这在实际场景中难以获取。尽管胸片疾病分类与定位取得了进展，许多方法未能融入临床启发的领域知识。出于这些原因，我们提出一种放射组学引导的Transformer（RGT），它将全局图像信息与局部知识引导的放射组学信息相融合，从而在没有任何边界框标注的情况下提供准确的心肺病灶定位与分类。RGT由一个图像Transformer分支、一个放射组学Transformer分支，以及聚合图像与放射组学信息的融合层组成。利用其图像分支学到的自注意力，RGT提取一个用于计算放射组学特征的边界框，该特征进一步由放射组学分支处理；学到的图像与放射组学特征随后被融合，并通过交叉注意力层相互交互。因此，RGT利用一种新颖的端到端反馈回路，仅使用图像级疾病标签即可自举出准确的病灶定位。在NIH ChestXRay数据集上的实验表明，RGT在弱监督疾病定位（在各交并比阈值上平均超出3.6%）与分类（在受试者工作特征曲线下平均面积上超出1.1%）方面均优于先前工作。我们在\url{https://github.com/VITA-Group/chext}公开发布代码与预训练模型。
引用
@article{arxiv.2207.04394,
title = {Radiomics-Guided Global-Local Transformer for Weakly Supervised Pathology Localization in Chest X-Rays},
author = {Yan Han and Gregory Holste and Ying Ding and Ahmed Tewfik and Yifan Peng and Zhangyang Wang},
journal= {arXiv preprint arXiv:2207.04394},
year = {2022}
}