基于超分辨率的高频引导无分块 3D 图像分割
图像与视频处理
2023-07-11 v2 计算机视觉与模式识别
摘要
高分辨率（HR）3D 图像如今被广泛使用，例如磁共振成像（MRI）和计算机断层扫描（CT）等医学图像。然而，与当前有限的 GPU 内存相比，这些 3D 图像由于具有高空间分辨率和维度，其分割仍然是一个挑战。因此，大多数现有的 3D 图像分割方法使用基于分块的模型，这些模型推理效率低且忽略了全局上下文信息。为了解决这些问题，我们提出了一种基于超分辨率（SR）的无分块 3D 图像分割框架，能够从全局低分辨率（LR）输入中实现 HR 分割。该框架包含两个子任务，其中语义分割是主任务，超分辨率是辅助任务，旨在帮助从 LR 输入中重建高频信息。为了进一步平衡 LR 输入带来的信息损失，我们提出了高频引导模块（HGM），并设计了一种高效的选择性裁剪算法，从原始图像中裁剪出 HR 分块作为其恢复引导。此外，我们还提出了任务融合模块（TFM）以利用分割与 SR 任务之间的相互联系，实现两个任务的联合优化。在预测时，仅需主分割任务，而其他模块可被移除以加速推理。在两个不同数据集上的实验结果表明，与传统基于分块的方法相比，我们的框架推理速度提高了四倍，同时其性能也超越了其他基于分块和无分块的模型。
引用
@article{arxiv.2210.14645,
title = {Super-Resolution Based Patch-Free 3D Image Segmentation with High-Frequency Guidance},
author = {Hongyi Wang and Lanfen Lin and Hongjie Hu and Qingqing Chen and Yinhao Li and Yutaro Iwamoto and Xian-Hua Han and Yen-Wei Chen and Ruofeng Tong},
journal= {arXiv preprint arXiv:2210.14645},
year = {2023}
}
备注
Version #2 uploaded in Jul 10, 2023