SAUGE：驯服 SAM 以实现不确定性对齐的多粒度边缘检测

由于标注者的偏好不同，边缘标签通常处于不同的粒度级别，因此处理像素级标签的主观性一直是边缘检测的关注焦点。以往的方法通常采用简单的投票策略来减少这种标签不确定性，或者强加一个具有预定义分布（如高斯分布）的标签假设。在这项工作中，我们揭示了 Segment Anything Model (SAM) 提供了强大的先验知识来建模边缘标签中的不确定性。我们的关键洞察是，SAM 的中间特征本质上对应于不同粒度的物体边缘，这反映了由于不确定性导致的不同边缘选择。因此，我们尝试通过将不同层的中间 SAM 特征回归到多粒度级别的物体边缘，以将不确定性与粒度对齐。如此一来，模型能够以数据驱动的方式充分且显式地探索各种“不确定性”。具体而言，我们向冻结的 SAM 中注入一个轻量级模块（约 1.5% 的额外参数），以逐步融合并调整其中间特征，从而估计从粗到细的边缘。将人工边缘标签的粒度级别标准化以匹配其固有的不确定性至关重要。为此，我们简单地对手头的真实边缘标签进行线性混合，以创建具有不同粒度的伪标签。因此，我们的不确定性对齐边缘检测器可以灵活地生成任何所需粒度（包括最佳粒度）的边缘。得益于 SAM，我们的模型在跨数据集边缘检测中独特地展现出强大的泛化能力。在 BSDS500、Muticue 和 NYUDv2 上的大量实验结果验证了我们模型的优越性。