基于Transformer的交互式分割中的结构化点击控制

基于点击点的交互式分割因其高效性受到广泛关注。然而，现有算法在多次点击后难以获得精确且稳健的响应。分割结果倾向于几乎不变或甚至比之前更差。为提高响应的鲁棒性，我们提出一种基于图神经网络的结构化点击意图模型，通过用户点击的Transformer标记的全局相似性自适应获取图节点。随后，对图节点进行聚合以获得结构化交互特征。最后，采用双交叉注意力机制将结构化交互特征注入视觉Transformer特征，从而增强点击对分割结果的控制。大量实验表明，所提算法可作为提升基于Transformer的交互式分割性能的通用结构。代码和数据将发布于 https://github.com/hahamyt/scc。