理解Segment Anything Model：SAM偏向纹理而非形状
计算机视觉与模式识别
2023-11-21 v1
摘要
与人类视觉主要依赖形状识别物体不同，深度图像识别模型被广泛认为偏向纹理。近期，Meta研究团队发布了首个图像分割基础模型，称为segment anything model（SAM），引起了广泛关注。本工作中，我们从纹理与形状的视角理解SAM。不同于以标签为导向的识别任务，SAM被训练为基于提示预测覆盖物体形状的掩码。据此而言，SAM偏向形状似乎不言自明。然而，本工作中我们揭示了一个有趣发现：SAM强烈偏向于类纹理的稠密特征而非形状。这一引人深思的发现得到了一个新颖设置的支持——我们解耦纹理与形状线索，并设计了纹理-形状线索冲突以进行掩码预测。
引用
@article{arxiv.2311.11465,
title = {Understanding Segment Anything Model: SAM is Biased Towards Texture Rather than Shape},
author = {Chaoning Zhang and Yu Qiao and Shehbaz Tariq and Sheng Zheng and Chenshuang Zhang and Chenghao Li and Hyundong Shin and Choong Seon Hong},
journal= {arXiv preprint arXiv:2311.11465},
year = {2023}
}