用于快速交互式分割的特征解耦-复用网络
计算机视觉与模式识别
2023-08-09 v2
摘要
近期交互式分割方法迭代地将源图像、用户指引与先前预测掩码作为输入，而未考虑源图像的不变性质。因此，每一轮交互都重复从源图像提取特征，导致大量计算冗余。本文中，我们提出特征解耦-复用网络（FDRN），其基于内在差异解耦建模组件，并在每轮用户交互中复用组件。从而可显著提升整个交互过程的效率。具体而言，我们从三个角度应用解耦-复用策略分别处理三类差异。首先，我们的模型将源图像语义的学习与用户指引的编码解耦，以分别处理两类输入域。其次，FDRN 从分层语义表示中解耦高层与低层特征以增强特征学习。第三，在用户指引编码期间，将当前用户指引与历史指引解耦以突出当前用户指引的作用。我们在来自不同领域与模态的 6 个数据集上进行了广泛实验，证明了本模型的以下优点：1) 优于其他方法的效率，尤其在需长期交互的困难场景中优势明显（最高快 4.25 倍），同时取得良好分割性能；2) 作为通用增强技术对各方法具有强适用性；3) 良好的跨任务泛化能力，例如至医学图像分割，以及对误导性用户指引的鲁棒性。
引用
@article{arxiv.2308.03529,
title = {Feature Decoupling-Recycling Network for Fast Interactive Segmentation},
author = {Huimin Zeng and Weinong Wang and Xin Tao and Zhiwei Xiong and Yu-Wing Tai and Wenjie Pei},
journal= {arXiv preprint arXiv:2308.03529},
year = {2023}
}
备注
Accepted to ACM MM 2023