面向通用前景分割的显式视觉提示
计算机视觉与模式识别
2023-05-31 v1
摘要
前景分割是计算机视觉中的基础问题，包括显著目标检测、伪造检测、散焦模糊检测、阴影检测和伪装目标检测。以往工作通常依赖领域特定的解决方案来应对这些应用中的精度与鲁棒性问题。本文中，我们提出一个面向多种前景分割任务的统一框架，无需任何任务特定设计。我们从 NLP 中广泛使用的预训练而后提示微调范式获得启发，提出一种新的视觉提示模型，称为显式视觉提示（EVP）。与以往通常为数据集级隐式嵌入的视觉提示不同，我们的核心思路是使可微调参数聚焦于每幅独立图像的显式视觉内容，即来自冻结块嵌入与高频分量的特征。我们的方法冻结预训练模型，随后使用少量额外参数学习任务特定知识。尽管仅引入极少可微调参数，EVP 仍取得了优于全微调及其他参数高效微调方法的性能。在跨五项任务的十四个数据集上的实验表明，所提方法优于其他任务特定方法，且相当简洁。该方法展现了在不同架构、预训练权重与任务上的可扩展性。代码见：https://github.com/NiFangBaAGe/Explicit-Visual-Prompt。
引用
@article{arxiv.2305.18476,
title = {Explicit Visual Prompting for Universal Foreground Segmentations},
author = {Weihuang Liu and Xi Shen and Chi-Man Pun and Xiaodong Cun},
journal= {arXiv preprint arXiv:2305.18476},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2303.10883