上下文内外常见修复物体
计算机视觉与模式识别
2026-04-07 v2 机器学习
摘要
我们提出了上下文内外常见修复物体（Common Inpainted Objects In-N-Out of Context, COinCO），这是一个解决现有视觉数据集中上下文外样本稀缺问题的新颖数据集。通过基于扩散的图像修复系统性地替换 COCO 图像中的物体，我们创建了 97,722 张独特图像，包含上下文连贯和不连贯的场景，从而实现有效的上下文学习。每个修复物体都经过大型视觉语言模型的细致验证，并被分类为上下文内或上下文外。我们展示了 COinCO 支持的三个关键任务：（1）一种基于三个标准将物体分类为上下文内或上下文外的细粒度上下文推理方法；（2）一种新颖的“从上下文提取物体”预测任务，在实例和派系语义层面确定哪些新物体自然属于给定场景；（3）在无需微调的情况下，对最先进方法的上下文增强伪造检测。COinCO 提供了一个具有上下文变化的受控测试床，为推进计算机视觉（包括图像取证）中上下文感知的视觉理解奠定了基础。代码和数据集可在 https://co-in-co.github.io/ 获取。
引用
@article{arxiv.2506.00721,
title = {Common Inpainted Objects In-N-Out of Context},
author = {Tianze Yang and Tyson Jordan and Ruitong Sun and Ninghao Liu and Jin Sun},
journal= {arXiv preprint arXiv:2506.00721},
year = {2026}
}
备注
The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026