面向科学图像的无 AI-Ready 数据零样本分割基础模型
计算机视觉与模式识别
2025-08-19 v2 人机交互
摘要
零样本和基于提示的模型在利用大规模自然图像语料库方面在视觉推理任务中表现卓越，但常常在稀疏且领域特定的科学图像数据上失败。我们引入 Zenesis，一个面向科学成像工作流程降低数据准备瓶颈的无代码交互式计算机视觉平台。Zenesis 集成了轻量级多模态适应，用于对原始科学数据进行零样本推断，结合人类在环式细化和启发式时序增强。我们在催化剂负载膜的离子束扫描电子显微镜（FIB-SEM）数据集上进行了验证。Zenesis 在非晶质催化剂样品上优于基线方法，平均准确率达 0.947，Intersection over Union（IoU）为 0.858，Dice 评分为 0.923；在晶体样品上分别达到 0.987、0.857 和 0.923。这些结果在常规方法如 Otsu 阈值分割和独立模型如 Segment Anything Model（SAM）之上代表了显著的性能提升。Zenesis 在数据标注有限的领域实现了有效的图像分割，为科学发现提供了可扩展解决方案。
引用
@article{arxiv.2506.24039,
title = {Foundation Models for Zero-Shot Segmentation of Scientific Images without AI-Ready Data},
author = {Shubhabrata Mukherjee and Jack Lang and Obeen Kwon and Iryna Zenyuk and Valerie Brogden and Adam Weber and Daniela Ushizima},
journal= {arXiv preprint arXiv:2506.24039},
year = {2025}
}
备注
This paper has been accepted for presentation at the 59th International Conference on Parallel Processing (ICPP 2025), DRAI workshop