基础分割模型的鲁棒性分析
计算机视觉与模式识别
2024-04-30 v2
摘要
由于计算资源的增加与数据的可获取性，出现了越来越多使用自监督或半监督学习在大量多模态数据上训练的大型深度学习模型。这些“基础”模型常被适配到各种下游任务（如分类、目标检测与分割），且在目标数据集上几乎不加训练。本工作中，我们对用于分割任务的视觉基础模型（VFMs）进行鲁棒性分析，并聚焦于针对受真实世界分布偏移启发的扰动的鲁棒性。我们使用 2 个不同扰动数据集 MS COCO-P 与 ADE20K-P（含 17 种扰动，每种 5 个严重度级别）对七种最优分割架构进行基准测试。我们的发现揭示了若干关键见解：（1）VFMs 对压缩引起的损坏存在脆弱性；（2）尽管在多模态鲁棒性上未全面超越所有单模态模型，多模态模型在零样本场景下展现出有竞争力的韧性；（3）VFMs 对特定物体类别表现出增强的鲁棒性。这些观察表明，我们的鲁棒性评估框架为基础模型设定了新要求，鼓励进一步改进以提升其适应性与性能。代码与数据集见：\url{https://tinyurl.com/fm-robust}。
引用
@article{arxiv.2306.09278,
title = {Robustness Analysis on Foundational Segmentation Models},
author = {Madeline Chantry Schiappa and Shehreen Azad and Sachidanand VS and Yunhao Ge and Ondrej Miksik and Yogesh S. Rawat and Vibhav Vineet},
journal= {arXiv preprint arXiv:2306.09278},
year = {2024}
}
备注
This benchmark along with the code and datasets is available at: https://tinyurl.com/fm-robust. Accepted at CVPRW 2024