情境感知引导的图像抠图

大多数自动抠图方法试图将显著前景从背景中分离。然而，现有抠图数据集数量不足及主观偏差，使得难以充分挖掘给定图像中物体间及物体与环境间的语义关联。本文提出一种情境感知引导的图像抠图（SPG-IM）方法，缓解抠图标注的主观偏差，并捕获充足的情境感知信息，以从视觉到文本任务中提炼更好的全局显著性。SPG-IM能更好地关联物体间及物体到环境的显著性，并弥补图像抠图的主观性及其昂贵标注。我们还引入了文本语义变换（TST）模块，可有效变换并整合语义特征流以引导视觉表征。此外，提出自适应焦点变换（AFT）精炼网络，自适应切换多尺度感受野与焦点，以增强全局与局部细节。大量实验证明了来自视觉到文本任务的情境感知引导对图像抠图的有效性，且我们的模型优于最先进的方法。我们还分析了模型中不同组件的重要性。代码将很快发布。