通过基于提示的学习适配Segment Anything Model (SAM)以增强冷冻电镜显微图像中的蛋白质识别
计算机视觉与模式识别
2023-11-29 v1 人工智能
机器学习
摘要
冷冻电子显微镜（cryo-EM）在结构生物学中仍至关重要，但作为3D蛋白质结构构建关键环节的蛋白质颗粒挑选任务存在大量人工低效问题。尽管Topaz和crYOLO等近期AI工具正在推动该领域发展，它们并未完全解决cryo-EM图像的挑战，包括低对比度、复杂形状和异质构象。本研究探索基于提示的学习，以适配最先进的图像分割基础模型Segment Anything Model (SAM)用于cryo-EM。这一关注点源于希望以少量标注数据优化模型性能而不改变预训练参数，旨在适应性与其基础知识的保留之间取得平衡。通过三种基于提示的学习策略（即头部提示、前缀提示和编码器提示）的试验，我们观察到相比微调方法，性能提升且计算需求降低。该工作不仅凸显了在cryo-EM显微图像蛋白质识别中提示SAM的潜力，也暗示其在生物医学图像分割与目标检测中的更广阔前景。
引用
@article{arxiv.2311.16140,
title = {Adapting Segment Anything Model (SAM) through Prompt-based Learning for Enhanced Protein Identification in Cryo-EM Micrographs},
author = {Fei He and Zhiyuan Yang and Mingyue Gao and Biplab Poudel and Newgin Sam Ebin Sam Dhas and Rajan Gyawali and Ashwin Dhakal and Jianlin Cheng and Dong Xu},
journal= {arXiv preprint arXiv:2311.16140},
year = {2023}
}