面向光片荧光显微镜的多模态 3D 基础模型：实现少样本分割、分类与去模糊
计算机视觉与模式识别
2026-05-26 v1 人工智能
机器学习
摘要
光片荧光显微镜（LSM）实现对生物标本的高分辨率三维（3D）成像，提供丰富的体数据用于研究细胞组织、病理和血管网络。然而，LSM 数据的规模、维度和标注负担使得监督式深度学习方法成本高昂且难以扩展。此外，尽管 LSM 体数据充斥着未标注的体数据，针对该模态的基础模型仍未得到充分探索，由于计算挑战和体表示学习的复杂性。本文引入 LSM 数据的 3D 基础模型，预训练于大型精选的 3D 图像集合，涵盖多个生物体、染色方法和成像协议。我们通过联合优化掩码重建和图像-文本对齐，学习可迁移的体表示。预训练的主干网络大幅降低了标注负担，使其能够高效地针对各种下游任务进行少样本适应。我们对该方法在下游分割、分类和去模糊任务上进行评估。结果表明，该方法在标准评估指标下显著优于基线方法，并通过严格的领域专家评估表现出色。这凸显了基础模型预训练在减少标注需求的同时提升性能的潜力，适用于 diverse LSM 分析任务。预训练模型权重和预训练/微调代码均公开提供：https://github.com/AdinaScheinfeld/lsm_fm_public_repo.git。
引用
@article{arxiv.2605.26026,
title = {A Multimodal 3D Foundation Model for Light Sheet Fluorescence Microscopy Enables Few-Shot Segmentation, Classification, and Deblurring},
author = {Adina Scheinfeld and Haotan Zhang and Shang Mu and Rudolf L. M. van Herten and Lucas Stoffl and Ali Erturk and Zhuhao Wu and Johannes C. Paetzold},
journal= {arXiv preprint arXiv:2605.26026},
year = {2026}
}
备注
11 pages, 3 figures