从像素到吉像素：用Pixel-Mamba桥接局部归纳偏置与长程依赖
计算机视觉与模式识别
2024-12-24 v1
摘要
组织病理学在医学诊断中发挥关键作用，全切片图像（WSIs）提供的见解直接影响临床决策。然而，WSIs的大规模与复杂性可能在计算效率和有效表征学习方面构成重大挑战。本文引入Pixel-Mamba，这是一种专为高效处理吉像素级WSIs而设计的新型深度学习架构。Pixel-Mamba利用具有线性内存复杂度的状态空间模型（SSM）——Mamba模块，并通过逐步扩大的token整合局部归纳偏置，类似于卷积神经网络。这使Pixel-Mamba能够层次化地结合局部与全局信息，高效解决计算挑战。惊人的是，Pixel-Mamba在多项肿瘤分期和生存分析任务中，达到或超越了在数百万WSIs或WSI-文本配对上预训练的领先基准模型的定量性能——即便不要求任何病理学特定的预训练。广泛的实验表明，Pixel-Mamba作为一种强大且高效的WSI端到端分析框架，具有广泛的应用前景。
引用
@article{arxiv.2412.16711,
title = {From Pixels to Gigapixels: Bridging Local Inductive Bias and Long-Range Dependencies with Pixel-Mamba},
author = {Zhongwei Qiu and Hanqing Chao and Tiancheng Lin and Wanxing Chang and Zijiang Yang and Wenpei Jiao and Yixuan Shen and Yunshuo Zhang and Yelin Yang and Wenbin Liu and Hui Jiang and Yun Bian and Ke Yan and Dakai Jin and Le Lu},
journal= {arXiv preprint arXiv:2412.16711},
year = {2024}
}