通过自感知调优实现可提示异常分割
计算机视觉与模式识别
2024-12-30 v4
摘要
Segment Anything Model (SAM) 因其卓越的泛化能力在异常分割任务中取得了显著进展。然而，现有通过提示直接应用 SAM 的方法往往忽视了领域迁移问题，即 SAM 在自然图像上表现良好，但在工业场景中危机重重。参数高效微调 (PEFT) 提供了一条可行之路，但可能因未充分解决在适配异常图像时感知挑战而导致次优性能。本文提出了一种 novel 方法——自感知调优 (SPT)，旨在增强 SAM 对异常分割的感知能力。SPT 方法融合了自草稿调优策略，生成异常掩码的初始粗糙草稿，然后进行细化过程。此外，引入了基于视觉关系的适配器，以 improved 目标感知，以更好地捕获掩码生成的判别性关系信息。大量基准数据集上的实验结果表明，我们的 SPT 方法在 baseline 方法上显著取得优势，验证了其有效性。
引用
@article{arxiv.2411.17217,
title = {Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning},
author = {Hui-Yue Yang and Hui Chen and Ao Wang and Kai Chen and Zijia Lin and Yongliang Tang and Pengcheng Gao and Yuming Quan and Jungong Han and Guiguang Ding},
journal= {arXiv preprint arXiv:2411.17217},
year = {2024}
}
备注
Accepted by AAAI-25