利用上下文线索检测脱离上下文的物体
计算机视觉与模式识别
2022-05-09 v1 人工智能
摘要
本文提出一种检测图像中脱离上下文(out-of-context, OOC)物体的方法。给定一幅包含一组物体的图像，我们的目标是判断某个物体是否与场景上下文不一致，并用边界框检测出该 OOC 物体。本工作中，我们考虑常被探究的上下文关系，如共现关系、物体相对于其他物体的相对尺寸，以及物体在场景中的位置。我们假定上下文线索有助于确定上下文内物体的物体标签，而不一致的上下文线索不利于确定脱离上下文物体的物体标签。为实现该假设，我们提出一种图上下文推理网络(graph contextual reasoning network, GCRN)来检测 OOC 物体。GCRN 包含两张独立的图，基于图像中的上下文线索预测物体标签：1) 表示图，用于基于邻近物体学习物体特征；2) 上下文图，用于显式捕获来自邻近物体的上下文线索。GCRN 显式捕获上下文线索，以改进上下文内物体的检测并识别违背上下文关系的物体。为评估我们的方法，我们通过向 COCO 图像添加 OOC 物体实例构建了一个大规模数据集。我们还在近期的 OCD 基准上进行了评估。我们的结果表明，GCRN 在检测 OOC 物体和正确检测上下文内物体方面优于具有竞争力的基线。
引用
@article{arxiv.2202.05930,
title = {Detecting out-of-context objects using contextual cues},
author = {Manoj Acharya and Anirban Roy and Kaushik Koneripalli and Susmit Jha and Christopher Kanan and Ajay Divakaran},
journal= {arXiv preprint arXiv:2202.05930},
year = {2022}
}