Inter2Former：用于高效高精度交互式分割的动态混合注意力
计算机视觉与模式识别
2025-07-15 v1
摘要
交互式分割（IS）通过从用户提示中对目标区域进行分割来提高标注效率，广泛应用于实际场景。当前方法面临一个关键权衡：稠密 token 方法在准确率和细节保留方面表现卓越，但在 CPU 设备上处理速度极慢；而 Segment Anything Model（SAM）则通过稀疏提示 token 实现快速推理，但牺牲了分割质量。本文提出 Inter2Former 通过优化稠密 token 处理中的计算分配来解决这一挑战，引入了四项关键改进。首先，我们提出动态提示嵌入（DPE），仅对感兴趣区域进行处理，避免背景 token 带来的额外开销。其次，我们引入动态混合注意力（DHA），利用前一次分割掩码将 token 路由到用于边界区域的全注意力（O(N²)）或用于非边界区域的我们提出的高效 BSQ 注意力（O(N)）。第三，我们开发混合专家组合并（HMoE），在 FFN 模块中应用类似的自适应计算策略，并针对 CPU 优化并行处理。最后，我们提出动态局部上采样（DLU），是 DPE 的逆操作，通过轻量 MLP 对对象进行局部化，并仅在检测区域内进行细粒度上采样。在高精度 IS 基准测试上的实验结果表明，Inter2Former 在 CPU 设备上以 SOTA 水平实现了高效推理。
引用
@article{arxiv.2507.09612,
title = {Inter2Former: Dynamic Hybrid Attention for Efficient High-Precision Interactive},
author = {You Huang and Lichao Chen and Jiayi Ji and Liujuan Cao and Shengchuan Zhang and Rongrong Ji},
journal= {arXiv preprint arXiv:2507.09612},
year = {2025}
}
备注
Accepted by ICCV 2025