通过特定知识注入实现预训练大型视觉模型在织物缺陷分割中的有效迁移

织物缺陷分割是纺织质量控制的重要组成部分。尽管如此，高质量标注数据的稀缺以及织物缺陷的多样性，给深度学习在该领域的应用带来了重大挑战。这些因素限制了现有模型的泛化与分割性能，阻碍了其处理多样织物类型与缺陷复杂性的能力。为克服这些障碍，本研究引入一种创新方法，将织物缺陷的专门知识注入到大型视觉模型 Segment Anything Model (SAM) 中。通过引入并训练一组独特的织物缺陷相关参数，该方法将领域特定知识无缝整合进 SAM，而无需对预存在模型参数进行大量修改。改造后的 SAM 模型利用了从大规模自然图像数据集学到的通用图像理解能力，同时融入织物缺陷特定知识，确保其在织物缺陷分割任务中的熟练度。实验结果显示，得益于这种通用与织物特定知识的新颖融合，模型分割性能显著提升。在三个数据集上与流行的现有分割模型基准对比时，我们提出的模型表现出性能的大幅飞跃。其在跨数据集比较与少样本学习实验中的出色结果，进一步证明了其在纺织质量控制中实际应用的潜力。