一种用于在大尺寸 3D 图像中查找小物体的高效深度神经网络
摘要
3D 成像通过提供器官解剖的空间信息可实现准确诊断。然而，使用 3D 图像训练 AI 模型在计算上具有挑战性，因为它们包含的像素比其 2D 对应物多 10 倍或 100 倍。为了用高分辨率 3D 图像训练，卷积神经网络不得不对其进行下采样或投影至 2D。我们提出了一种有效替代方案，即一种能够对全分辨率 3D 医学图像进行高效分类的神经网络。与现成卷积神经网络相比，我们的网络 3D Globally-Aware Multiple Instance Classifier（3D-GMIC）使用的 GPU 内存减少 77.98%–90.05%，计算量减少 91.23%–96.02%。尽管它仅以图像级标签训练，无分割标签，但它通过提供像素级显著图来解释其预测。在 NYU Langone Health 收集的包含 85,526 名患者的全视野 2D 乳腺摄影（FFDM）、合成 2D 乳腺摄影和 3D 乳腺摄影的数据集上，3D-GMIC 在使用 3D 乳腺摄影分类含恶性发现的乳房时达到 0.831 的 AUC（95% CI：0.769–0.887）。这与 GMIC 在 FFDM（0.816，95% CI：0.737–0.878）和合成 2D（0.826，95% CI：0.754–0.884）上的性能相当，表明 3D-GMIC 成功分类了大尺寸 3D 图像，尽管与 GMIC 相比其将计算集中于更小比例的输入。因此，3D-GMIC 从包含数亿像素的 3D 图像中识别并利用极小的感兴趣区域，大幅降低了相关计算挑战。3D-GMIC 在来自 Duke University Hospital 的外部数据集 BCS-DBT 上泛化良好，达到 0.848 的 AUC（95% CI：0.798–0.896）。
引用
@article{arxiv.2210.08645,
title = {An efficient deep neural network to find small objects in large 3D images},
author = {Jungkyu Park and Jakub Chłędowski and Stanisław Jastrzębski and Jan Witowski and Yanqi Xu and Linda Du and Sushma Gaddam and Eric Kim and Alana Lewin and Ujas Parikh and Anastasia Plaunova and Sardius Chen and Alexandra Millet and James Park and Kristine Pysarenko and Shalin Patel and Julia Goldberg and Melanie Wegener and Linda Moy and Laura Heacock and Beatriu Reig and Krzysztof J. Geras},
journal= {arXiv preprint arXiv:2210.08645},
year = {2023}
}