混合形状专家（MoSE）：面向通用医学分割的端到端形状词典框架
计算机视觉与模式识别
2025-04-15 v1 机器学习
多媒体
图像与视频处理
医学物理
摘要
单域泛化（SDG）近期在医学图像分割中受到广泛关注。一种可行策略是利用跨不同成像协议、扫描设备商家及临床地点的一致语义形状先验。然而，现有编码形状先验的词典学习方法常因词典规模受限导致表征能力不足，或在词典扩大后出现过拟合。此外，这类方法难以与诸如Segment Anything Model（SAM）等大型基础模型兼容。本文提出一种新型混合形状专家（Mixture-of-Shape-Experts, MoSE）框架，将混合专家（Mixture-of-Experts, MoE）训练理念无缝融入词典学习，以高效捕获多样且稳健的形状先验。我们将每个词典原子概念为一个形状专家，专注于编码不同的语义形状信息。通过带稀疏激活的门控网络动态融合这些形状专家，稀疏激活依据SAM编码引导，防止过拟合。我们将该形状图作为提示输入SAM，利用其强大的泛化能力实现双向集成。所有模块（包括形状词典）均以端到端方式训练。大量实验表明，该方法在多个公开数据集上效果显著。
引用
@article{arxiv.2504.09601,
title = {Mixture-of-Shape-Experts (MoSE): End-to-End Shape Dictionary Framework to Prompt SAM for Generalizable Medical Segmentation},
author = {Jia Wei and Xiaoqi Zhao and Jonghye Woo and Jinsong Ouyang and Georges El Fakhri and Qingyu Chen and Xiaofeng Liu},
journal= {arXiv preprint arXiv:2504.09601},
year = {2025}
}
备注
Accepted to CVPR 2025 workshop