通过基于GAN模拟的微调将Segment Anything Model (SAM)适配到实验数据集：增材制造案例研究
计算机视觉与模式识别
2024-12-17 v1 人工智能
图像与视频处理
摘要
工业X射线计算机断层扫描（XCT）是一种用于材料和制造部件无损表征的强大工具。XCT通常伴随先进的图像分析和计算机视觉算法，以从图像中提取相关信息。传统的计算机视觉模型常常因噪声、分辨率变化和复杂的内部结构而表现不佳，尤其是在科学成像应用中。最先进的基础模型，如为通用图像分割设计的Segment Anything Model (SAM)，已经革新了各个领域的图像分割，但它们在材料科学等专业领域的应用仍待探索。在这项工作中，我们探讨了SAM在增材制造部件工业XCT检测中的应用和局限性。我们证明，尽管SAM显示出潜力，但在分布外数据、多类分割和微调过程中的计算效率方面存在困难。为了解决这些问题，我们提出了一种利用参数高效技术（特别是Conv-LoRa）的微调策略，使SAM适应特定材料数据集。此外，我们利用生成对抗网络（GAN）生成的数据来增强训练过程，并提高模型在复杂XCT数据上的分割性能。我们的实验结果强调了定制化分割模型对于准确检测的重要性，表明在特定领域科学成像数据上微调SAM能显著提升性能。然而，尽管有所改进，模型在不同数据集上的泛化能力仍然有限，这凸显了需要进一步研究针对特定领域分割任务的鲁棒、可扩展解决方案。
引用
@article{arxiv.2412.11381,
title = {Adapting Segment Anything Model (SAM) to Experimental Datasets via Fine-Tuning on GAN-based Simulation: A Case Study in Additive Manufacturing},
author = {Anika Tabassum and Amirkoushyar Ziabari},
journal= {arXiv preprint arXiv:2412.11381},
year = {2024}
}