基于几何学习的 Transformer 网络用于分割误差估计
图像与视频处理
2023-08-11 v2 计算机视觉与模式识别
摘要
已有许多分割网络被提出用于肿瘤及危险器官的 3D 体数据分割。医院与临床机构力求加速并减轻专家在图像分割中的负担。然而，当这些网络产生错误时，临床医生仍需手动编辑生成的分割图。给定 3D 体数据及其假定分割图，我们提出一种识别并度量分割图中错误区域的方法。我们的方法可估计由可能含错的体数据分割图生成的 3D 网格中任意点或节点的误差，充当质量保证工具。我们提出基于 Nodeformer 架构的图神经网络 Transformer 来度量并分类任意点的分割误差。我们在人类内耳骨迷路结构的高分辨率微 CT 数据集上通过模拟错误 3D 分割图评估了网络。我们的网络包含卷积编码器以从输入微 CT 数据计算节点中心特征、Nodeformer 以学习潜在图嵌入，以及多层感知机（MLP）以计算并分类节点级误差。我们的网络在估计与分类节点级误差上分别相较其他图神经网络（GNN）取得约 0.042 的平均绝对误差与 79.53% 的准确率。我们还提出顶点法向预测作为预训练 CNN 编码器的自定义前置任务以提升网络整体性能。定性分析显示了我们的网络在正确分类误差与减少误分类上的高效性。
引用
@article{arxiv.2308.05068,
title = {Geometric Learning-Based Transformer Network for Estimation of Segmentation Errors},
author = {Sneha Sree C and Mohammad Al Fahim and Keerthi Ram and Mohanasankar Sivaprakasam},
journal= {arXiv preprint arXiv:2308.05068},
year = {2023}
}
备注
Accepted in MICCAI workshop on ShapeMI, 2023