基于弱提示的 SAM2 视频分割推理时间概率平滑

诸如 SAM2 这样的交互式视频分割模型已在 diverse 视觉领域中 demonstrating 强大的泛化能力。然而，在弱用户监督下（例如，在单个帧上提供稀疏点提示），其预测常常 suffer from temporal instability，包括边界闪烁、对象丢失和跨帧目标范围不一致。这些问题限制了其在下游视频理解和控制应用中的可靠性。本文提出一种推理时间的 temporal probability smoothing 方法，用于在不进行重新训练或架构修改的情况下提高 SAM2 基于视频分割的 temporal stability。该方法直接作用于每个帧的分割概率图，并利用基于光流的 motion warping 结合由分割熵导出的像素级不确定性估计，以及前向-后向 flow consistency，来自适应地将当前帧的预测与 motion-aligned history 估计相_blend，从而生成在弱提示下具有时序一致性的分割输出。我们在四个 diverse 视频序列上进行评估，使用包括 motion-compensated IoU、边界一致性、对象持久性和面积波动在内的全面帧级和 temporal stability 指标。实验结果表明，与 vanilla SAM2 推理相比，提出的方法在 temporal stability 上持续实现改进，同时保持空间 accuracy。该框架 lightweight、model-agnostic，特别适用于实时、交互式视频分割。