NEMESIS:抑制噪声、高效的 MAE 架构及增强超块集成策略
计算机视觉与模式识别
2026-04-03 v1 人工智能
摘要
体积 CT 成像是临床诊断中必不可少的技术,但对 3D 体积标注昂贵且耗时,这催生了从无标签数据中进行自监督学习(SSL)的动机。然而,由于全体积变换器的高内存开销以及 CT 数据的各向异性空间结构,这些因素未能被常规掩码策略有效捕捉,导致将 SSL 应用于 3D CT 仍面临挑战。我们提出了 NEMESIS,一种基于掩码自编码器(MAE)的框架, operates on local 128×128×128 超块,实现内存高效训练,同时保留解剖细节。NEMESIS 引入了三个关键组件:(i)噪声增强的重建作为预文本任务,(ii)掩码解剖变换器块(Masked Anatomical Transformer Blocks, MATB),通过平行的平面级和轴级 token 删除实现双掩码,(iii)NEMESIS Tokens(NT)用于跨尺度上下文聚合。在 BTCV 多器官分类基准上,采用冻结主干网络和线性分类器的 NEMESIS 在平均 AUROC 上达到 0.9633,超越了全参数微调的 SuPreM(0.9493)和 VoCo(0.9387)。在仅使用 10% 可用标注的低标签场景下,仍保持 AUROC 为 0.9075,显示出强大的标签效率。此外,超块设计将前向传播计算成本降低至 31.0 GFLOPs,而全体积基线为 985.8 GFLOPs,为 3D 医学影像提供了可扩展且稳健的基础。
引用
@article{arxiv.2604.01612,
title = {NEMESIS: Noise-suppressed Efficient MAE with Enhanced Superpatch Integration Strategy},
author = {Kyeonghun Kim and Hyeonseok Jung and Youngung Han and Hyunsu Go and Eunseob Choi and Seongbin Park and Junsu Lim and Jiwon Yang and Sumin Lee and Insung Hwang and Ken Ying-Kai Liao and Nam-Joon Kim},
journal= {arXiv preprint arXiv:2604.01612},
year = {2026}
}
备注
5 pages, 5 figures, 5 tables