DeCoDrift:稳定闭环基础模型分割解码器耦合
计算机视觉与模式识别
2026-05-26 v1
摘要
Segment Anything Model(SAM)等基础分割模型如今常用于迭代管道中,其中每个预测的掩码都作为下一个提示输入。这种做法将分割转化为闭环动力学过程,但解码器层面的行为却鲜有探讨。我们指出,这种反馈环可导致一种被忽视的失效模式——解码器耦合漂移(decoder coupling drift),即掩码解码器的交叉注意力逐渐失去与目标对象之间的对齐,导致错误在迭代中累积。我们通过对SAM掩码解码器进行插装并推导无需真实值的耦合度、注意力稳定性和时间一致性度量来研究这一现象。在体积电子显微镜数据上,这些解码器内部信号揭示,标准的迭代提示系统相对于以oracle为锚的反馈,系统性地降低了注意力对齐和时间一致性。我们随后将迭代提示 formalized 为离散时间动力系统,证明近端锚定可减少反馈环中的误差放大。基于此分析,我们引入DeCoDrift,一个无需训练的推理时稳定框架,通过约束提示更新并保持解码器耦合来实现跨迭代的稳定。在大量实验中,DeCoDrift始终在不重新训练或依赖真实值监督的情况下,显著改善了注意力稳定性、时间一致性和分割质量。更广泛地说,我们的结果表明,解码器内部的动力学不仅是诊断性的:它们为在闭环环境中稳定基础模型分割提供了可操作信号。
引用
@article{arxiv.2605.25730,
title = {DeCoDrift: Stabilizing Decoder Coupling in Closed-Loop Foundation Segmentation},
author = {H. M. Shadman Tabib and Md. Shamsuzzoha Bayzid and M Sohel Rahman},
journal= {arXiv preprint arXiv:2605.25730},
year = {2026}
}
备注
18 Pages, 5 Figures