LERENet：消除类内差异的金属表面缺陷少样本语义分割
计算机视觉与模式识别
2024-03-19 v1
摘要
少样本分割模型因其对新类别的快速泛化能力和像素级分割，在金属缺陷检测中表现出色，使其成为解决数据稀缺问题并在工业应用中实现精细目标描绘的理想选择。现有工作忽略了金属表面缺陷数据中固有的类内差异，这阻碍了模型从支持集中学习充足的知识以指导查询集分割。具体而言，它可以分为两类：由金属样本内部因素引起的语义差异和由环境外部因素引起的畸变差异。为了解决这些差异，我们引入了一种基于局部描述符的推理与激励网络（LERENet），以从图空间和特征空间中学习局部与全局信息的双视角指导，并将它们融合以进行精确分割。由于嵌入图空间的局部特征的关系结构将有助于消除语义差异，我们采用多原型推理（MPR）模块，提取基于局部描述符的原型并分析支持-查询对中的局部视角特征相关性。此外，由于全局信息将有助于对抗观测中的畸变差异，我们利用多原型激励（MPE）模块来捕获支持-查询对中的全局视角关系。最后，我们采用信息融合模块（IFM）融合局部和全局视角中学习到的原型以生成像素级掩码。我们在缺陷数据集上的综合实验表明，它优于现有基准，建立了新的 SOTA。
引用
@article{arxiv.2403.11122,
title = {LERENet: Eliminating Intra-class Differences for Metal Surface Defect Few-shot Semantic Segmentation},
author = {Hanze Ding and Zhangkai Wu and Jiyan Zhang and Ming Ping and Yanfang Liu},
journal= {arXiv preprint arXiv:2403.11122},
year = {2024}
}