HNOSeg-XS：用于高效分辨率鲁棒3D图像分割的极小Hartley神经算子
计算机视觉与模式识别
2025-07-14 v1
摘要
在医学图像分割中，卷积神经网络(CNN)和变换器是主流。对于CNN而言，由于卷积层的局部感受野，需通过连续卷积和池化来捕获长程空间关联。然而，计算成本和内存占用庞大，3D模型只能容纳较少的层数而牺牲感受野和抽象层级。对于变换器，虽然通过多头注意力可捕获长程关联，但相对于输入尺寸的二次复杂度计算负担沉重。因此，任一模型均需通过输入尺寸缩减来获取更多滤波器和层以实现更佳分割。鉴于其离散性质，采用patch级训练或图像下采样的模型在应用于更高分辨率时可能产生次优结果。为此，本文提出分辨率鲁棒的HNOSeg-XS架构。通过Fourier神经算子将图像分割建模为可学习的偏微分方程，具有零样本超分辨率特性。以Hartley变换取代Fourier变换并在频域中重构问题，构建了HNOSeg-XS模型，其具备分辨率鲁棒性、快速响应、内存效率以及极致参数效率。经Tesla V100 GPU测试，HNOSeg-XS在BraTS'23、KiTS'23和MVSeg'23数据集上表现出卓越的分辨率鲁棒性，模型参数不足34.7k，整体最佳推理时间（<0.24秒）和内存效率（<1.8 GiB）优于所测试的CNN和变换器模型。
引用
@article{arxiv.2507.08205,
title = {HNOSeg-XS: Extremely Small Hartley Neural Operator for Efficient and Resolution-Robust 3D Image Segmentation},
author = {Ken C. L. Wong and Hongzhi Wang and Tanveer Syeda-Mahmood},
journal= {arXiv preprint arXiv:2507.08205},
year = {2025}
}
备注
This paper was accepted by IEEE TMI 2025