TextureSAM：面向纹理感知分割的基座模型
计算机视觉与模式识别
2025-05-23 v1 人工智能
摘要
Segment Anything Models (SAM) 在跨数据集的对象分割任务中取得了显著的成功。然而，这些模型主要在大规模语义分割数据集上训练，导致对对象形状而非纹理线索的偏好。这一局限在医学成像、材料分类和遥感等领域尤为关键，后者中纹理变化定义了对象边界。在本研究中，我们调查了SAM对语义而非纹理的偏好，并引入了新的纹理感知基座模型TextureSAM，在纹理主导场景中实现优异的分割性能。为实现这一目标，我们采用新颖的微调方法，包含纹理增强技术，逐步修改训练图像以强化纹理特征。通过对 ADE20K 数据集进行新颖的纹理替代，我们引导TextureSAM 优先处理纹理定义的区域，从而减轻原始SAM模型中固有的形状偏差。我们进行了广泛实验，证明TextureSAM 在自然 (+0.2 mIoU) 和合成 (+0.18 mIoU) 纹理基分割数据集上均显著优于 SAM-2。该代码和纹理增强数据集将对公众开放。
引用
@article{arxiv.2505.16540,
title = {TextureSAM: Towards a Texture Aware Foundation Model for Segmentation},
author = {Inbal Cohen and Boaz Meivar and Peihan Tu and Shai Avidan and Gal Oren},
journal= {arXiv preprint arXiv:2505.16540},
year = {2025}
}