不借助汽车看人行道：量化与控制上下文在分类与分割中的影响

视觉上下文在场景理解任务中的重要性在计算机视觉界得到广泛认可。然而，用于图像分类和语义分割的计算机视觉模型在多大程度上依赖上下文做出预测尚不清楚。过度依赖上下文的模型在遇到与训练数据不同的上下文分布中的物体时会失败，因此在将模型部署到现实世界之前识别这些依赖关系十分重要。我们提出了一种通过编辑图像以移除选定物体并测量目标模型响应来量化黑盒视觉模型对视觉上下文敏感度的方法。我们将该方法应用于图像分类和语义分割两个任务，发现了物体与上下文之间不良的依赖关系，例如“人行道”分割严重依赖图像中“汽车”的存在。我们提出了一种基于物体移除的数据增强方案来缓解这种依赖，并增强分类和分割模型对上下文变化的鲁棒性。我们的实验表明，所提出的数据增强有助于这些模型在脱离上下文场景中提升性能，同时在常规数据上保持性能。