利用预训练模型掩蔽高光谱成像数据
计算机视觉与模式识别
2023-11-07 v1 人工智能
摘要
具有潜在噪声与未知光谱特征的无关背景区域的存在会降低高光谱数据处理的性能。掩蔽掉不需要的区域是解决此问题的关键。仅对感兴趣区域进行处理，可在计算成本、所需内存和整体性能方面带来显著改善。所提出的处理流程包含两个基本部分：感兴趣区域掩膜生成，随后仅在新掩蔽的高光谱立方体上应用高光谱数据处理技术。我们工作的新颖性在于初步图像分割所采用的方法。我们使用 Segment Anything Model (SAM) 提取数据集中的所有对象，随后用零样本 Grounding Dino 目标检测器细化分割结果，再进行交集与排除滤波步骤，无需微调或重训练。为说明掩蔽流程的有效性，所提方法被部署于三个需要精确掩蔽的具挑战性应用场景：破碎塑料表征、岩心钻探扫描与垃圾监测。我们提供了所提掩蔽方法在三个应用上的数值评估及所用超参数。方法脚本将发布于 https://github.com/hifexplo/Masking。
引用
@article{arxiv.2311.03053,
title = {Masking Hyperspectral Imaging Data with Pretrained Models},
author = {Elias Arbash and Andréa de Lima Ribeiro and Sam Thiele and Nina Gnann and Behnood Rasti and Margret Fuchs and Pedram Ghamisi and Richard Gloaguen},
journal= {arXiv preprint arXiv:2311.03053},
year = {2023}
}