从临床报告中自动提取标签的深度强化学习准确分类三维 MRI 脑体数据

目的：图像分类或许是成像 AI 中最基本的任务。然而，标注图像耗时且繁琐。我们最近已证明强化学习（RL）可高精度分类 MRI 脑图像的 2D 切片。在此我们朝加速图像分类迈出两个重要步骤：首先，我们从临床报告中自动提取类别标签。其次，我们将先前的 2D 分类工作扩展至本机构的完整 3D 图像体数据。因此，我们进行如下：在第 1 部分，我们使用 SBERT 自然语言处理方法从报告中自动提取标签。然后，在第 2 部分，我们将这些标签与 RL 结合用于训练 3D 图像体数据的分类 Deep-Q 网络（DQN）。方法：第 1 部分中，我们用 90 份放射学报告印象训练 SBERT。然后我们使用训练好的 SBERT 预测用于第 2 部分的类别标签。第 2 部分中，我们应用多步图像分类以允许使用 3D 卷积与 TD(0) Q 学习进行组合 Deep-Q 学习。我们在一组 90 张图像上训练，在另一组 61 张图像上测试，同样使用第 1 部分中训练好的 SBERT 从患者报告预测的类别。为比较，我们也使用相同标签在同一训练与测试图像集上训练并测试一个监督深度学习分类网络。结果：第 1 部分：在用放射学报告语料训练后，SBERT 模型对正常与含转移瘤扫描均达到 100% 准确率。第 2 部分：随后，使用这些标签，监督方法迅速过拟合训练数据并如预期在测试集上表现不佳（66% 准确率，仅略高于随机猜测），而强化学习方法达到 92% 准确率。结果具有统计显著性，p 值为 3.1 x 10^-5。