基于时间对比记忆网络的单次医学视频目标分割

视频目标分割对于复杂医学视频数据的高效分析至关重要，但在数据可用性和标注方面面临重大挑战。我们提出了一次性医学视频目标分割任务，该任务仅需第一帧的掩码标注即可分离视频中前景和背景像素。为解决此问题，我们提出了一种时间对比记忆网络，包含图像和掩码编码器以学习特征表示，一个时间对比记忆库，用于对齐相邻帧的嵌入并推开远距离帧以显式建模帧间关系并存储这些特征，以及一个融合编码图像特征和记忆读出进行分割的解码器。我们还收集了一个涵盖多种模态和解剖结构的多样化多源医学视频数据集，以基准测试此任务。大量实验表明，在从单一示例分割已见和未见结构方面达到了最先进的性能，展示了从稀缺标签泛化的能力。这凸显了减轻医学视频分析标注负担的潜力。代码可在 https://github.com/MedAITech/TCMN 获取。