利用 Segment Anything Model (SAM) 进行机器驱动图像标注的多光谱自动迁移技术 (MATT)
计算机视觉与模式识别
2024-02-20 v1 机器学习
摘要
Segment Anything Model (SAM) 极大地加速了自动分割和标注大型红 - 绿 - 蓝（RGB）图像数据集的速度和准确性。然而，SAM 无法分割和标注可见光谱之外的图像，例如多光谱或高光谱图像。因此，本文概述了一种我们称为多光谱自动迁移技术（MATT）的方法。通过将 SAM 分割掩码从 RGB 图像转置，我们可以高精度和高效率地自动分割和标注多光谱图像。例如，结果表明，利用 MATT 分割和标注包含 2,400 张图像的数据集，在开发训练模型时将时间减少了 87.8%，将约 20 小时的人工标注时间缩短至仅 2.4 小时。与人工标注数据集相比，通过 MATT 训练多光谱模型时，这种效率提升仅伴随着整体平均精度均值（mAP）6.7% 的下降。考虑到训练期间节省的时间，尤其是在快速原型化实验建模方法时，我们认为这是可接受的精度损失水平。这项研究通过提供一种新颖的开源方法，以最少的人工交互快速分割、标注和训练多光谱物体检测模型，极大地促进了多光谱物体检测的研究。未来的研究需要专注于将这些方法应用于 (i) 天基多光谱图像，以及 (ii) 无人机搭载的高光谱图像。
引用
@article{arxiv.2402.11413,
title = {A Multispectral Automated Transfer Technique (MATT) for machine-driven image labeling utilizing the Segment Anything Model (SAM)},
author = {James E. Gallagher and Aryav Gogia and Edward J. Oughton},
journal= {arXiv preprint arXiv:2402.11413},
year = {2024}
}