空间与光谱的全向融合：用于 hyperspectral 图像分割的 Omni-Fusion
计算机视觉与模式识别
2025-07-10 v1
摘要
医学高光谱成像（MHSI）已成为增强疾病诊断、特别是计算病理学中的重要工具，提供丰富的光谱信息，有助于识别组织细胞的微妙生化特性。尽管存在这些优势，但有效地融合MHSI中空间维度和光谱维度信息仍具有挑战性，这些信息具有高维度和光谱冗余的内在特征。为了解决上述挑战，我们提出一种新颖的空间-光谱全向融合网络，用于高光谱图像分割，称为Omni-Fuse。在此，我们引入大量的跨维度特征融合操作，包括一种通过双向注意力机制细化空间和光谱特征的跨维度增强模块、一种用于选择最相关光谱特征的空间特征作为查询的光谱引导的空间查询选择，以及一种两阶段跨维度解码器，用于动态引导模型关注所选空间查询。尽管存在大量注意力块，Omni-Fuse在执行效率方面仍然有效。在两个显微镜高光谱图像数据集上的实验表明，我们的方法可以显著优于最新方法，DSC提升超过5.73个百分点。代码可在https://github.com/DeepMed-Lab-ECNU/Omni-Fuse获取。
引用
@article{arxiv.2507.06606,
title = {Omni-Fusion of Spatial and Spectral for Hyperspectral Image Segmentation},
author = {Qing Zhang and Guoquan Pei and Yan Wang},
journal= {arXiv preprint arXiv:2507.06606},
year = {2025}
}