探究 CLIP 基于零样态异常分段的语义鲁棒性
计算机视觉与模式识别
2024-05-14 v1 人工智能
摘要
使用预训练基础模型进行零样态异常分段是一个有前景的做法，能够在无需昂贵、领域特定训练或微调的情况下实现有效算法。确保这些方法在各种环境条件下工作且对分布迁移具有鲁棒性是一个开放问题。我们通过对测试数据进行三种语义变换（有界角度旋转、有界饱和度偏移和色相偏移）来扰动 WinCLIP [14] 零样态异常分段算法的性能。我们通过聚合每个样本的最坏情况扰动来测量下界，发现平均性能在受ROC曲线下面积和每个区域重叠曲线下面积下降最多分别为 和 。我们发现无论模型架构或学习目标如何，性能在三个 CLIP 主干网络上始终受到降低，表明需要谨慎的性能评估。
引用
@article{arxiv.2405.07969,
title = {Investigating the Semantic Robustness of CLIP-based Zero-Shot Anomaly Segmentation},
author = {Kevin Stangl and Marius Arvinte and Weilin Xu and Cory Cornelius},
journal= {arXiv preprint arXiv:2405.07969},
year = {2024}
}