具备稳健不确定性-准确性相关性的通用分割
计算机视觉与模式识别
2026-05-21 v3
摘要
尽管 SAM 在零样本性能方面表现强劲，但在域迁移情况下不可靠，原因是掩码级置信度混淆（Mask-level Confidence Confusion），即单一的基于 IoU 的掩码得分未能反映边界附近像素级的可靠性。受视觉中纹理偏置捷径与人类视觉中以形状为中心加工之间的对比启发，我们将域外变异建模为外观偏移和非刚性变形，这两种因素共同施加校准压力。我们提出了具备稳健不确定性-准确性相关性的通用分割（Segment Anything with Robust Uncertainty-Accuracy Correlation, RUAC），以实现对外观和变形偏移下的像素级不确定性估计。RUAC 添加一个轻量级不确定性头部，通过协作风格-变形攻击进行训练，该攻击同时扰动纹理和几何形状，并应用不确定性-准确性对齐，以确保不确定性在对抗性扰动下仍能正确识别错误像素。经过 23 个零样本域的测试，RUAC 在分割质量和不确定性忠实度方面均取得提升，并实现更强的不确定性-准确性相关性。项目页面：https://hongyouzhou.github.io/ruac/。
引用
@article{arxiv.2605.10603,
title = {Segment Anything with Robust Uncertainty-Accuracy Correlation},
author = {Hongyou Zhou and Marc Toussaint and Ling Shao and Zihan Ye},
journal= {arXiv preprint arXiv:2605.10603},
year = {2026}
}
备注
ICML 2026