利用基础模型简化光声图像处理：一种免训练解决方案
计算机视觉与模式识别
2024-04-12 v1 机器学习
摘要
基础模型发展迅速，在计算机视觉任务中取得了显著成就。具体而言，提示机制方便用户将图像先验信息集成到模型中，使得无需任何训练即可应用模型。因此，我们提出一种基于基础模型和零训练的方法来解决光声 (PA) 图像分割任务。我们通过设置简单提示并将模型输出与成像对象的先验知识相结合，采用了分割一切模型 (SAM) 来完成各种任务，包括：(1) 去除三维 PA 图像渲染中的皮肤信号；(2) 双声速重建；(3) 手指血管分割。通过这些演示，我们得出结论：无需网络设计和训练，深度学习即可直接应用于 PA 成像。这有可能提供一种实践且便捷的方法来实现 PA 图像的高效准确分割。本文可作为一份综合教程，通过提供代码和样本数据集来促进对该技术的掌握。
关键词
引用
@article{arxiv.2404.07833,
title = {Streamlined Photoacoustic Image Processing with Foundation Models: A Training-Free Solution},
author = {Handi Deng and Yucheng Zhou and Jiaxuan Xiang and Liujie Gu and Yan Luo and Hai Feng and Mingyuan Liu and Cheng Ma},
journal= {arXiv preprint arXiv:2404.07833},
year = {2024}
}