超越 3D 多模态医学影像中的实例级自监督
计算机视觉与模式识别
2026-05-15 v1
摘要
医学影像中的自监督预训练方法通常将每个个体视为孤立的实例，通过基于增广的目标或掩码重建来学习表征。它们往往未能充分利用生理特征的一个关键特性：解剖结构在个体（实例）间保持一致的空间关系，例如丘脑位于基底神经节的内侧，而不受大脑大小、形状或病理变化的影响。我们提出利用这种跨实例拓扑一致性作为监督信号。挑战源于医学影像固有的变异性，这种变异性在不同实例和模态间可能差异显著。为解决此问题，我们关注两种对齐机制。 实例内：在具有像素级对应关系的情况下，跨模态三元组目标显式地保持局部邻域拓扑。 实例间：在缺乏此类监督的情况下，我们推导伪对应关系以控制部分邻域对齐，并防止跨模态的拓扑坍缩。我们在 7 个下游多模态任务上验证了该方法，在分割和分类任务中分别实现了 1.1% 和 5.94% 的平均提升，并在测试时模态缺失的情况下展现出显著更好的鲁棒性。
引用
@article{arxiv.2605.14654,
title = {Beyond Instance-Level Self-Supervision in 3D Multi-Modal Medical Imaging},
author = {Tan Pan and Shuhao Mei and Yixuan Sun and Kaiyu Guo and Chen Jiang and Zhaorui Tan and Mengzhu Li and Limei Han and Xiang Zou and Yuan Cheng and Mahsa Baktashmotlagh},
journal= {arXiv preprint arXiv:2605.14654},
year = {2026}
}
备注
ICML2026