UniMRSeg：基于分层自监督补偿的统一模态松弛分割
计算机视觉与模式识别
2025-09-22 v1
摘要
多模态图像分割面临着模态缺失/损坏导致性能下降的现实部署挑战。现有方法通过针对特定模态组合的专用模型来解决训练与推理时的模态差异，但它们需要穷举模型子集并进行模型与模态的匹配，从而引入了高昂的部署成本。在本工作中，我们通过分层自监督补偿（HSSC）提出了一种统一的模态松弛分割网络（UniMRSeg）。我们的方法在输入、特征和输出层级上分层弥合了完整模态与不完整模态之间的表示差异。首先，我们采用混合打乱掩码增强的模态重建，鼓励模型学习内在的模态特征，并通过跨模态融合为缺失模态生成有意义的表示。其次，模态不变对比学习隐式地补偿了不完整-完整模态对之间的特征空间距离。此外，所提出的轻量级反向注意力适配器显式地补偿了冻结编码器中微弱的感知语义。最后，UniMRSeg 在混合一致性约束下进行微调，以确保在所有模态组合下都能稳定预测，而不会出现大幅度的性能波动。无需繁杂的额外设计，UniMRSeg 在基于 MRI 的脑肿瘤分割、RGB-D 语义分割和 RGB-D/T 显著目标分割的多种缺失模态场景下，均显著优于现有方法。代码将发布于 https://github.com/Xiaoqi-Zhao-DLUT/UniMRSeg。
引用
@article{arxiv.2509.16170,
title = {UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation},
author = {Xiaoqi Zhao and Youwei Pang and Chenyang Yu and Lihe Zhang and Huchuan Lu and Shijian Lu and Georges El Fakhri and Xiaofeng Liu},
journal= {arXiv preprint arXiv:2509.16170},
year = {2025}
}
备注
Accepted by NeurIPS 2025